【Deep Learning】From AI to True-AI

2015 高性能计算用户大会

上个月颜水成加入奇虎360组建了一个研究院,把一些思想用到了360的产品线。在这次的高性能用户计算大会上,颜水成表示人工智能的研究可以分为三个层次,第一个层次是算法模拟人的神经元,把它转换成另外一个信号。第二个层次是模拟人的大脑,这个时候信号不是直接的转换,里面有抽象和层次的理解,最后才转换成信号。有了这两层还是不够,还有非常重要的一层,它不只是建立一种模型,机器是智能的,它会自己学习,在跟它周围的用户和环境接触过程中,智能水平会逐步提高。我看过一个电影《超能查派》,这个机器人开始的时候有一些基本功能,当把人工智能植入到机器人的时候,它开始模仿人类,最后这个机器人的智能逐步提高,最后跟人进行非常流畅的沟通。其实人工智能最终水平就是深度学习。

颜水成:感谢浪潮的邀请,让我有机会分享深度学习方面的进展。我上个月加入了奇虎360,其中很多产品线都和深度学习有相关。人工智能是非常广泛的范畴,现在的研究分为三个层次:

1、算法模拟神经元(Neuron),转换成电信号。

2、算法模拟大脑(Human Brain),这里面有抽象的理解,并转变成电信号。

3、算法自学习(Baby Learning),和周围环境接触过程中,智能水平会提高。

这就像《超能查派》,最开始只有基本功能,当把人工智能植入的时候,它开始模仿人类,最后和人类的沟通就非常流畅。

在这种理解下,我们把人工智能分成两方面:Brain-Like 和 Baby-Like。

Brain-Like 擅长做语音识别和人脸识别,Baby-Like 可以放在环境里自适应,做识别和理解。

那么什么样的模型能达到这种效果?它会有多种状态,模式之间可以互相指导,例如图像指导语音,语音指导图像。它可以在不同层之间互相沟通,这时候就得用到深度学习的工具。

Brain-Like

在深度学习上面,我们过去看到的是模型越大性能越好。在这里我想用 iPhone 的一个宣传口号:岂止于大。

这里面有三个点:

1、Pixel-to-Pixel Inference(像素到像素)

2、Neuron Nonlinearity(非线性神经元)

3、Feedback Strategies(回馈策略)

Pixel-to-Pixel Inference

在 P2P(Pixel to Pixel)上,这是一种端对端的训练,可以从 P2P 进入到 P2P-aware。

它还可以做图像分割,过去我们认为是不可能的,而现在由于加上了结构性模型,它也可以做到。

这样即便是一些有遮挡的图片,图像的模拟效果都还不错。

Neuron Nonlinearity

这方面最好用小网络来处理,去设计不同的尺寸。当你做的足够小的时候,就能更好的拟合它应该具备的功能。这样的话你就得到了 Network in Network,它就有很不错的性能。

我们把 NIN 放到GoogleNet上面测试了一下,LFW可以达到 99.7%,最好的百度已经能做到 99.8%。

除此之外,你还可以看到 GoogleNet 在这方面的数据。

这是我在腾讯的朋友,她上传了两张照片,左边和右边看起来差别很大,但在系统里面能够识别出是同一个人。

Feedback Strategies

在 Feedback 层面,不同的 Layer 和 Task 之间可以做很多工作。假如每层的数据一样,很自然的它就是在上面逐步测试。这样虽然第一次调的不一定准,但它可以帮助网络,最终实现很高的性能。

比如说给你一张图像,找出帽子、包和衣服。有些层的尺寸是一样的,我们就可以拿这些层做对比。

还有一些小尺寸的维度,如果把这些也加入到网络里面,就会有比较好的提升。

最后你可以把这些都合在一起,你可以得到连在一起的 Network。这样就能很好识别出哪个是眼镜、哪个是包、哪个是袜子。这些都能看得清楚。

从定量的角度说,它的性能会有很大的提升。如果用到高性能计算的GPU,基本可以处理到 20%,而且系统非常稳定。

有时候即便衣服是部分的,也可以识别出来。这方面的成功案例非常多。

Baby-Like

这部分是关于 Baby-Like 的研究,也是我说的 True AI。

当你和真实世界进行交互的时候,其实会有自我学习在里面。这里面的核心是能够理解上下文。

Baby-Like 是一种多特征的角度。包含了视觉、语音和自然语言理解。我们可以从过去的知识中,去学习和积累经验。

那么小孩是怎么学习的呢?他不需要太多的案例,只需要很小的训练让本,就能够在和真实世界的交互中,进行自学习。而当他看到了新事物(斑马),他会问妈妈说:这是一只马麽?

这张图是两种学习模式的抽象表示。

相比起来,Prior Knowledge 的模式取得了不错的成绩,它的性能指标从 53% 上升到了 56%。

当然这不是最好的结果,因为现在又有很多新的模型出现。

这是Baby Learning 在脸部识别的应用。

在这里你也可以看到不同的成果。

目前来说,基于注释的数据 Deep Learning,这是一种比较成熟的技术。但是未来的希望肯定会是 Baby Learning。它会有聪明的办法,在缺少或者弱标签的情况下学习,而且可以和人们的学习机制一致,包括自学习和终生学习的理念。

我就讲这些。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-09-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

写给风控新人大数据挖掘基础知识介绍

对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢? 在市场需求和技术基础这两个因素都具备的环境下,数据...

352130
来自专栏AI科技大本营的专栏

量子计算+人工智能——这才是未来科技的最大热门!

编译 | AI科技大本营 参与 | shawn 编辑 | 明明 90年代初,当卫奇塔州立大学(Wichita State University)的物理学教授El...

42670
来自专栏华章科技

写给新人数据挖掘基础知识介绍

在市场需求和技术基础这两个因素都具备的环境下,数据挖掘技术的概念和技术就应运而生了。

8620
来自专栏CDA数据分析师

机器学习领域的突破性进展(附视频中字)

机器学习的发展涉及到各个方面,从语音识别到智能回复。但这些系统中的“智能”实际上是如何工作的呢?还存在什么主要挑战?在本次讲座中将一一解答。 Google I/...

208100
来自专栏大数据文摘

扎克伯格预言即将成真:计算机可解读图片内容

273130
来自专栏Python攻城狮

DIKW模型与数据工程1.DIKW 体系2.数据工程领域中的DIKW体系3.数据工程 领域职业划分4.数据分析5.数据建模基础

DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪...

20230
来自专栏新智元

计算机视觉导览:如何快速上手,是否该读博?

【新智元导读】 Learning OpenCV 3 Application Development 一书的作者 Samyak Datta 在一次专访中解答了初学...

45130
来自专栏ATYUN订阅号

研究团队利用GAN预测未来长相

有时警方搜寻一个失踪多年的人或逃犯,线索就只有一张旧照片。艺术家或计算机程序可以尝试预测这些人现在的样子,但这两种方法都有缺陷。现在,科学家们利用先进的人工智能...

12350
来自专栏AI科技大本营的专栏

必读 | 六月份不容错过的十大重磅好文,机器学习和数据科学的小伙伴拿走不谢

作者 | Flavian Hautbois 翻译 | AI科技大本营(rgznai100) 参与 | JeyZhang,波波 上个月,我们发了很多文章。但是,机...

28560
来自专栏CreateAMind

智能机器的现实风险

当人们问我是干什么的,我常常对回答的深度感到困惑。说“人工智能”我很满意,但太宽泛,而说“图像处理”可能又太具体。然而,一听到接下的来的毫不相干的问题我总是气不...

9810

扫码关注云+社区

领取腾讯云代金券