发表 NIPS 论文后,Salakhutdinov 打算如何塑造苹果的人工智能

【新智元导读】苹果公司 AI 研究主管 Russ Salakhutdinov 近日在 NIPS 2016 的一次闭门分享会上畅谈了苹果的 AI 研究现状。从其流出的几张幻灯片可以看出苹果的确做了不少研究,尤其在压缩神经网络和图像识别算法方面独有一套。期待苹果发表第一篇机器学习论文!

苹果公司长期以来一直对其在加州库比蒂诺的实验室进行的研究保持神秘。原因很好理解。但至少在人工智能领域,苹果显示出要开始揭开其研究的神秘面纱的迹象。12月6日,在 NIPS 会议的一场闭门午餐会上,苹果公司机器学习团队的新主管 Russ Salakhutdinov 与其他苹果员工进行畅谈,透露了该公司的 AI 研究情况,Quartz 网站从其中得到9张幻灯片。(注:该网站只释放出其中4张)

苹果公司研究的机器学习问题与其他公司并没有太大不同:图像识别和处理;预测物理世界中的用户行为和事件;用于智能助理的语言建模,并试图解决当算法不能作出可信度高的决策时,如何处理不确定性问题。

健康&生命体征;LiDAR体积测定;用结构化输出进行预测;

图像处理和着色;智能助理&语言建模;行为识别。

有意思的是,其中一张概述该公司研究方向的 slide 上(上图),有两张汽车的图片,说明文字分别是“激光雷达体积测定”(volumetric detection of LiDAR)和“用结构化输出进行预测”(prediction with structured outputs)。这两者都是当今的自动驾驶汽车技术的重要部分,但由于其内容的敏感性质,两位与会嘉宾要求匿名,并强调苹果公司没有提到在自动驾驶汽车方面的野心。

研究领域:①深度生成模型;②模型压缩;③整体场景理解;④模型可靠性;⑤深度增强学习;⑥无监督学习,迁移学习,one-shot学习;⑦推理,注意力&记忆;⑧分布式计算的高效训练。

另一张 slide 展示了苹果构建神经网络的能力,其神经网络大小比原版小4.5倍,速度是原来的2倍,而精度上没有损失。不过该技术在 AI 研究中并非没有先例,使用规模更大、更具鲁棒性的神经网络来“教”另一个网络针对各种不同的情况作出决策的技术已经有过研究。“学生”网络具有“教师”网络的知识库的精简版本。从本质上来说,更大的网络对给定照片或音频样本进行预测,而精简版的网络对这个预测结果进行预测。

这种研究对苹果这种生产移动设备的公司来说很重要。通过缩小神经网络,iPhone 和 iPad 这样的移动设备也可以利用内置的神经网络识别图片面孔和位置,了解用户心率变化等,而无需依赖远程服务器。在移动设备上实现这些过程还能确保数据安全,因为数据不需要通过无线网络发送到服务器。

苹果的另一个厉害的地方是其基于 GPU 的算法的性能,GPU 是通常用于加速深度学习处理的硬件。苹果声称其图像识别算法每秒能处理的照片数量是谷歌的2倍,即 3000 张/秒 vs 1500 张/秒,同时苹果使用的 GPU 阵列仅为谷歌的三分之一。

以 AWS 作为标准的比较结果如下:

从上到下分别是:Ideal、MXNet、TensorFlow

虽然其他公司开始使用专用的芯片来加速他们的 AI 研究,例如谷歌使用 TPU,微软使用 FPGA,但值得一提的是,苹果当前使用的是标准 GPU。不过,尚不知道该公司是自己构建定制化 GPU 以匹配其硬件设备,还是从英伟达之类的大型供应商处购买。

苹果用来训练其图像识别神经网络的数据集是似乎是专有的,规模大约是标准 ImageNet 数据集的两倍。

苹果公司不允许发表研究论文的政策长期受到批评。在这次小型分享中,这位来自卡内基梅隆大学的 AI 专家 Salakhutdinov 宣布苹果将允许发表研究论文,并将积极与研究圈子展开合作。

目前还不清楚苹果的这一承诺是否仅适用于机器学习研究,还是也包括计算机科学研究的其他领域。苹果对此不予置评。

编译来源:http://qz.com/856546/inside-the-secret-meeting-where-apple-aapl-revealed-the-state-of-its-ai-research/

责编:SQ

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-12-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯音视频实验室

Interspeech 2017:腾讯音视频实验室王燕南博士论文入选,并获邀做口头报告

2017年8月20日,语音通信领域国际顶级学术会议Interspeech 2017在瑞典斯德哥尔摩召开。 Interspeech是由国际语音通信协会ISCA(...

52060
来自专栏专知

【干货】Logistic回归Python实战,评估销售系统的盈利能力

【导读】一个企业的盈利与其销售市场部门密不可分,传统的销售手段是销售人员逐个联系现有或潜在的顾客,这种方式不仅耗时耗力,而且不可避免地会有疏漏,不能够精准地联系...

45750
来自专栏PPV课数据科学社区

如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?

编者按:这个问题放到更大的范围,也同样适用于回答“学习数据挖掘是否需要学好数学?”。作者从实践的几个方面给出了自己的理解,小遍认为还是比较好的回答了这个问题。 ...

42150
来自专栏AI科技评论

学界 | 百度Deep Voice作者与Bengio团队探讨五大技术细节,端到端的语音合成还有多远?

androidauthority AI 科技评论消息,今日百度研究院在官网上正式推出了 Deep Voice:实时语音合成神经网络系统(Real-Time Ne...

42690
来自专栏AI科技评论

业界 | 更善于自动抓拍「有趣」瞬间:谷歌 Clips AI 拍照新技术

尽管深度学习已经在近期取得了一些进步,但在其在自动摄影方面依旧面临着一项极具挑战的难题:相机能够自动抓拍到精彩的瞬间吗?

10330
来自专栏数据派THU

谷歌大脑2017技术研究总结 | Jeff Dean执笔(附论文、 数据集)

本文经AI新媒体量子位(公众号ID:qbitai)授权转载,转载请联系出处 本文长度为8311字,建议阅读10分钟 Jeff Dean回顾了谷歌大脑团队过去一年...

45250
来自专栏企鹅号快讯

科学家:大脑有860亿神经元!能生活在11维度的世界?

最近一项科学研究发现,人类大脑有超过860亿神经元,而每个神经元都有好几个方向上的其它神经元进行着链接,这就形成了一个超级巨大的蜂窝结构。科学家们称,这样的结果...

19580
来自专栏智能计算时代

神经网络计算爆炸

具有先进并行处理的神经网络已经开始扎根于预测地震和飓风到解析MRI图像数据的许多市场,以便识别和分类肿瘤。

13560
来自专栏量子位

未来 3~5 年内,哪个方向的机器学习人才最紧缺?

作者:阿萨姆 普华永道 | 数据科学家 量子位 已获授权编辑发布 转载请联系原作者 既然已经身在工业界,那么我就谈谈工业界未来几年需要什么样的机器学习人才。 不...

27350
来自专栏Bingo的深度学习杂货店

图像识别——突破与应用

最近,图像识别领域发布了白皮书,简单翻译一下做个总结。 ---- 目录 [1] Introduction      1.1 Exponential Growt...

1.8K110

扫码关注云+社区

领取腾讯云代金券