微软教会人工智能看图写故事

微软研究人员提出了通过使用人工智能让计算机讲述多张照片中发生的故事的新颖方法。2016年4月,微软发布了一份描述这项技术的学术论文,据论文表示,这项技术在将来可能能够发展出对视障人士尤为有用的服务。微软还发布了照片、图片说明以及研究中制作出的“故事”。这项新功能意义深远,因为它的作用绝不仅仅是通过识别图片或者甚至视频中的物体来生成图片说明。

微软研究员Margaret Mitchell表示:“目前要评估它的价值还很困难,但我们希望从一个维度中获取最重要的信息。通过看图讲故事,可以获得很多关于背景以及相关事件的信息。”

为促进这一领域的最新发展水平,微软依靠人工、并按特定顺序为每张图片编写说明。然后,工程师利用这些信息教会机器如何组织出整个故事,说明图片的顺序。这个方法涉及深度学习,也就是人工智能的一种,微软之前曾将这种人工智能用于语音识别和机器翻译等任务。Facebook、谷歌和其他公司也在这方面积极开展研究。

在这个案例中,谷歌使用递归神经网络进行图片和词汇的训练。Mitchell和她的同事从机器翻译领域借鉴了一种名为序列到序列学习(sequence-to-sequence learning)的方法。论文课题负责人Mitchell表示:“我们通过一个脑回网络馈送每张图片,提供序列的各个部分,然后,我们查看这个序列,为图片的序列创建整体编码,然后再根据总体编码解码出这个故事。”她和她的合作者——部分来自Facebook人工智能研究(FAIR)实验室——尝试通过设定一定的规则来改善系统最初产生的内容。例如在一个故事中,相同的内容词汇不应该出现两次。

这样一来,最后生成的语言不再刻板乏味,而是更简练、更吸引人。而随着时间变化,这种语言可能产生巨大潜力。无法看到图片的人也可以了解成套的图片所传递的信息。

近期,业内兴起了一阵研究如何为盲人识别图片和视频中的物体和人物的热潮,而微软的这项工作正是这种热潮的良好延续。事实上,这也是Mitchell最近与微软盲人软件开发人员Saqib Shaikh共同探索的领域。Mitchell表示,如果视力健全的人群要学习第二语言,也可能从视觉故事讲述中获得极大帮助,这种技术还可激发儿童的思维,让他们对于自己眼中的世界产生更多想象。

人们越来越多地用手机摄像头拍摄成套图片,比如iPhones可以拍摄动画GIF一样的动态图片,也可以拍摄视频。所以,机器理解这些内容就愈发重要。仅仅分别每张照片中的内容已经不够了。Mitchell认为研究将朝着这个方向发展——虽然他们离这个目标还很远。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

Google首席决策师告诉你数据科学究竟是什么?

因此,数据科学诞生了。最开始数据科学家的的定义是“能够编程的统计学家”。如今看来,这个说法并不准确,但首先让我们看到数据科学本身。

441
来自专栏量子位

2018深度学习十大趋势:元学习成新SGD,多数硬件创企将失败

原作 Carlos E. Perez 李杉 编译自 Intuition Machine博客 量子位 出品 | 公众号 QbitAI ? 2018年,一切可能都会...

2915
来自专栏ATYUN订阅号

DeepMind认为:神经科学与人工智能的联手已无法阻挡!

近日,DeepMind AI 博客发表了一篇讲述他们对人工智能研究和神经科学研究协作的看法的文章,文章中表明,他们认为这两个领域的合作不仅有好处,而且同样是迫在...

3498
来自专栏PPV课数据科学社区

重磅 | Facebook机器学习应用负责人J.Candela:如何将人工智能技术应用于产品

Joaquin Quiñonero Candela是Facebook 机器学习应用团队的负责人。他曾在微软剑桥研究院工作,还是微软Bing团队的一员。Joaq...

3395
来自专栏PPV课数据科学社区

如何成为一名卓越的数据科学家——开篇七剑

关于作者: 杨滔,桃树科技(TaoData)创始人,专注于下一代人工智能产品的研发、应用与商业化。拥有超过十年机器学习研究与应用经验。奥克兰大学机器学习博士,悉...

39210
来自专栏镁客网

发展至今的机器学习到底对我们的就业和社会产生了哪些影响?

1350
来自专栏瓜大三哥

UVM模型(六)之uvm_component与uvm_object乐闻

UVM模型(六)之uvm_component与uvm_object乐闻 为什么UVM中会分成uvm_component与uvm_object两大类呢? ...

2149
来自专栏目标检测和深度学习

别再提程序员应届年薪20万了,人工智能已经年薪60万了!

对人工智能而言,2017是不平凡的一年: AlphaGo再胜人类 腾讯宣布进军AI 百度无人驾驶汽车上五环 AI教育要从娃娃抓起 寒武纪成全球AI芯片首个独角兽...

36910
来自专栏大数据文摘

CMU机器学习学院院长Tom Mitchell:计算机模拟人脑才刚刚起步

2705
来自专栏大数据文摘

人工智能的基础--知识分类

22811

扫码关注云+社区