【新智元导读】微软人工智能首席科学家邓力博士在上海IEEE-ICASSP2016大会上的演讲报告。本报告分为深度学习的机器感知、机器认知和未来挑战三大部分,着重介绍了机器认知部分,总结了微软在深度学习方面的最新进展。
邓力率先提出将深度神经网络应用于语音识别,显著提高了机器对语音的识别率,由此获得2015年IEEE技术成就奖。根据微软亚洲研究院官网,在展望2016年深度学习领域会出现哪些关键性技术突破和进展时,邓力认为基于深度学习的自然语言处理技术会继续保持高速发展,而基于深度学习的注意力导向型序列学习技术将让机器翻译日益完善。
邓力照片
标题:人工智能中的深度学习——从机器感知到机器认知
维基百科上对深度学习的定义
深度学习是一种经典的机器学习算法,它
维基百科对人工智能的定义
人工智能(AI)是机器或软件展现出来的智能。在学术领域,它也指那些关于如何创造能够体现智能行为的计算机或计算机软件的研究。
通用人工智能(AGI)是一种从理论上能够成功地处理所有人类可以处理的智能任务的机器智能。它是人工智能研究的首要目的,也是科幻小说作家和预言家们的重要主题。通用人工智能也被称为“强人工智能”。
人工智能/通用人工智能与深度学习:主要理论
人工智能/通用人工智能 = 机器感知(语言、图像、视频、手势、触觉……) + 机器认知(自然语言、推理、关注、记忆/学习、知识、决策、行动、互动/对话……)
强人工智能:灵活、通用、万能的人工之智能
深度学习 + 增强/无监督学习 = 人工智能/强人工智能
AlphaGo 如何运用人工智能/强人工智能与深度学习
目录
机器感知中的深度学习
机器认知中的深度学习
深度学习和AI研究中的三大热门领域及挑战
深度学习研究:以神经信息处理系统(NIPS)为中心
2010年到2012年,安卓在语音识别错误率上取得的突破
全球语音行业中深度神经网络(DNN)的应用
当下语音识别技术的最新发展状况
谷歌的神经网络架构(NNA)ASR
百度的深度语音中英文端对端 DL系统
苹果DNN-HMM ASR 中学习的跃迁概率
科大讯飞的 FSMN-based LVCSR系统
IBM的英语对话语音识别
微软牛津计划
深度学习同样也覆盖到图像认知(从2012年起)
对象认知过程
微软的神经网络证明,深度学习可以更深
深度非常关键
机器认知中的深度学习
符号嵌入中的深度语义模型
深度语义模型的应用
自动写图说
COCO挑战的结果(CVPR-2015,Boston)
机器认知中的深度学习
nature文章通过深度增强学习让机器达到人类水平的控制
增强学习——长期价值的最优化
用深度神经网络和树形搜索学会下围棋
AlphaGo中的DNN学习管道
AlphaGo中使用的DNN架构
AlphaGo中四个DNN的分析
AlphaGo中蒙特卡洛树形研究
机器认知深度学习——存储网络和注意力机制(用于机器翻译)
长短期记忆循环神经网络(LSTM)
LSTM细胞随时间展开情况
门限循环单元(GRU),比LSTM简单,没有输出门。(图2)和LSTM一样,乍看很难看出哪部分是GRU功能的关键。
神经网络的序列学习
神经网络机器翻译
采用注意力机制的神经网络机器翻译
全局注意力模型和局部注意力模型
图像说明注意力模型
机器认知深度学习
推理存储网络
TPR:结构化神经网络表征
未来研究挑战
深度无监督学习
理论上说理论和实践没有区别,但在实践中理论和实践是有区别的。