李飞飞高徒Andrej Karpathy加盟特斯拉,担任人工智能与自动驾驶视觉总监

选自TechCrunch

机器之心编译

今日,特斯拉宣布前 Open AI 研究员、斯坦福大学博士生 Andrej Karpathy 担任特斯拉人工智能和自动驾驶视觉总监(Director of AI and Autopilot Vision),直接向 Elon Musk 负责。Andrej Karpathy 博士生期间就已声名鹊起,此次加盟特斯拉更是受到了极大的关注。比较有趣的是,从 Open AI 招揽研究员,特斯拉也算是近水楼台啊(Elon Musk 与他人共同创立了 Open AI)。

刚刚得到的消息,科技汽车公司特斯拉宣布计算机视觉著名学者 Andrej Karpathy 加盟,他已成为该公司自动驾驶研究部门的一员。在此之前,Karpathy 是伊隆·马斯克旗下的人工智能研究机构 OpenAI 的研究者。这位毕业于斯坦福大学的计算机视觉专家拥有人工智能领域的丰富履历,他在博士期间曾师从于著名学者李飞飞,研究卷积/循环神经网络架构与计算机视觉应用。

在学习期间,Andrej Karpathy 还共同构建了斯坦福大学最受尊敬的深度学习教程,他在斯坦福大学的研究着重于构建一个神经网络系统,通过识别图像中离散的特征点用自然语言对图片进行标注。此外,他还构建了一个反向系统,通过用户描述的自然语言(如「白色网球鞋」)来搜索图片库中的图像。

从斯坦福毕业后,Karpathy 曾在谷歌研究院、DeepMind 等公司和机构实习,他的研究专注于深度学习。他在计算机视觉领域的专长显然被特斯拉视为巨大的财富——这家著名公司一直试图打造面向未来的自动驾驶技术。

Andrej Karpathy 在特斯拉的新职位是:人工智能和自动驾驶视觉总监(Director of AI and Autopilot Vision),特斯拉表示,Karpathy 将直接向马斯克负责,但同时也会与特斯拉副总裁、负责自动驾驶硬件与软件工程的 Jim Keller 共同工作。

特斯拉宣布 Andrej Karpathy 加盟的声明如下:

Andrej Karpathy,世界一流的计算机视觉和深度学习专家之一,现在已经以人工智能和无人驾驶视觉总监的身份加入了特斯拉,可以向 Elon Musk 直接进行汇报。Andrej 曾经通过对 ImageNet 的研发给予计算机以视觉,通过对生成模型的开发给予计算机以想象力,并且通过强化学习给予其浏览互联网的能力。 Andrej 在斯坦福大学拿到了他的计算机视觉博士学位,在那里他就可以应用深度神经网络来推导出图像的复合形式。比如,不仅仅能简单地识别图片里有一只猫,还能识别出这是一个「橙色斑点」猫,正骑在一个棕色木板和红色轮子制成的滑板上。他也创办并且教授了「用于视觉识别的卷积神经网络」(「Convolutional Neural Networks for Visual Recognition」)这门课程,这是斯坦福大学的第一个深度学习课程,直到现在仍然处于业内领先地位。(相关课程链接:http://cs231n.stanford.edu/2016/)(http://cs231n.stanford.edu/2016/%EF%BC%89)

Andrej 将会和 Jim Keller 紧密配合,后者现在已经全权负责无人驾驶的硬件和软件开发。

Karpathy 的个人简历时间线

个人简介:Andrej Karpathy 是深度学习计算机视觉领域、生成式模型与强化学习领域的研究员。博士期间师从李飞飞研究卷积/循环神经网络架构,以及它们在计算机视觉、自然语言处理以及二者交叉领域的应用。在读博期间,两次在谷歌实习,研究在 Youtube 视频上的大规模特征学习,2015 年在 DeepMind 实习,研究深度强化学习。与李飞飞一起工作时,设计、教授了新的斯坦福课程《卷积网络进行视觉识别(CS231n)》。博士毕业论文为《CONNECTING IMAGES AND NATURAL LANGUAGE》。

论文:连接图像与自然语言(CONNECTING IMAGES AND NATURAL LANGUAGE)

论文链接:http://cs.stanford.edu/people/karpathy/main.pdf

审核导师

摘要:人工智能领域的一个长期目标是开发能够感知和理解我们周围丰富的视觉世界,并能使用自然语言与我们进行关于其的交流的代理。由于近些年来计算基础设施、数据收集和算法的发展,人们在这一目标的实现上已经取得了显著的进步。这些进步在视觉识别上尤为迅速——现在计算机已能以可与人类媲美的表现对图像进行分类,甚至在一些情况下超越人类,比如识别狗的品种。但是,尽管有许多激动人心的进展,但大部分视觉识别方面的进步仍然是在给一张图像分配一个或多个离散的标签(如,人、船、键盘等等)方面。

在这篇学位论文中,我们开发了让我们可以将视觉数据领域和自然语言话语领域连接起来的模型和技术,从而让我们可以实现两个领域中元素的互译。具体来说,首先我们引入了一个可以同时将图像和句子嵌入到一个共有的多模态嵌入空间(multi-modal embedding space)中的模型。然后这个空间让我们可以识别描绘了一个任意句子描述的图像,而且反过来我们还可以找出描述任意图像的句子。其次,我们还开发了一个图像描述模型(image captioning model),该模型可以根据输入其的图像直接生成一个句子描述——该描述并不局限于人工编写的有限选择集合。最后,我们描述了一个可以定位和描述图像中所有显著部分的模型。我们的研究表明这个模型还可以反向使用:以任意描述(如:白色网球鞋)作为输入,然后有效地在一个大型的图像集合中定位其所描述的概念。我们认为这些模型、它们内部所使用的技术以及它们可以带来的交互是实现人工智能之路上的一块垫脚石,而且图像和自然语言之间的连接也能带来许多实用的益处和马上就有价值的应用。

从建模的角度来看,我们的贡献不在于设计和展现了能以复杂的处理流程处理图像和句子的明确算法,而在于卷积和循环神经网络架构的混合设计,这种设计可以在一个单个网络中将视觉数据和自然语言话语连接起来。因此,图像、句子和关联它们的多模态嵌入结构的计算处理会在优化损失函数的过程中自动涌现,该优化考虑网络在图像及其描述的训练数据集上的参数。这种方法享有许多神经网络的优点,其中包括简单的均质计算的使用,这让其易于在硬件上实现并行;以及强大的性能——由于端到端训练(end-to-end training)可以将这个问题表示成单个优化问题,其中该模型的所有组件都具有一个相同的最终目标。我们的研究表明我们的模型在需要图像和自然语言的联合处理的任务中推进了当前最佳的表现,而且我们可以一种能促进对该网络的预测的可解读视觉检查的方式来设计这一架构。

原文链接:https://techcrunch.com/2017/06/20/tesla-hires-deep-learning-expert-andrej-karpathy-to-lead-autopilot-vision/

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-06-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

只训练一次数据就能识别出物体,谷歌全新 AI 算法“单次学习”

近日,谷歌 DeepMind 团队发现了一种新的方式对深度学习算法进行调整,新算法可以只通过一个例子就能识别出图像中的物体,该算法被称为“单次学习”。 ? 一套...

3855
来自专栏新智元

【Quora精彩问答】机器学习的十条金科玉律

【新智元导读】曾在 Endeca, Google, LinkedIn 负责机器学习项目的 Daniel Tunkelang 在 Quora 上发表了给非专业人士...

3848
来自专栏ATYUN订阅号

OpenAI:通过人工智能之间的辩论实现安全的人工智能系统

这种辩论方法可视化为一个游戏树,类似于围棋这样的游戏,只是针对的对象变成了在叶节点上辩手举措和人类判断之间的句子。在辩论和围棋中,真解取决于整个树,但是强大的智...

862
来自专栏量子位

旷视首席科学家孙剑:计算机视觉的变革和挑战 | 北大AI公开课笔记

周三晚,北京大学“人工智能前沿与产业趋势”第三讲,本期旷视研究院院长孙剑授课主题为“计算机视觉的变革与挑战”,分享了计算机视觉和深度学习领域的一些研究进展。

1205
来自专栏AI科技评论

深度|MIT人工智能算法披露:我们如何用 200 万张图片预见 1.5 秒后的世界?

我们生活在物理世界里,但往往没有深入思考这样一个问题:自己是如何迅速理解周边事物的? 人类能够对背景的变化、事物之间的相互关联等等做出非常自然的反应。而且,这些...

34912
来自专栏新智元

【可解释AI重大突破】DeepMind 构建心智理论神经网络让机器互相理解

DeepMind近日发表的最新研究提出“机器心智理论”(Machine Theory of Mind),启发自心理学中的“心智理论”,研究者构建了一个心智...

3419
来自专栏新智元

【Yoshua Bengio 亲自解答】机器学习 81 个问题及答案(最全收录)

这是 Quora 的最新节目,针对特定话题进行系列的问答。如果你不了解 Quora,可以把它看作美国版的知乎,不过里面大咖云集,奥巴马、Elon Musk、Bi...

3015
来自专栏人工智能头条

深度神经网络的灰色区域:可解释性问题

2142
来自专栏PPV课数据科学社区

作为数据人,你知道人工智能、机器学习、深度学习,三者之间的同心圆关系吗?

本方转自机器之心 作者Micheal Copeland 今年早些时候,当谷歌 DeepMind 团队的 AlphaGo 打败了李世石时,媒体就用人工智能、...

2856
来自专栏企鹅号快讯

智能识别技术 让计算机看懂世界

互联网发展之初受到网络带宽、数据存储等相关技术的限制,信息传播以单模态形式为主,如文字报道、图像相册等。进入大数据时代,信息传播变得丰富多彩,人们从互联网中同时...

24010

扫码关注云+社区

领取腾讯云代金券