前沿丨AI 能看懂漫画吗?它的脑补能力比人类差远了

读漫画对人工智能太难了

随着人工智能的不断发展,它似乎已经在很多方面赶超了人类——面部识别、物体识别,还有象棋、围棋、各种视频游戏。

人们不禁要问,还有什么事是 AI 做不好的呢?它在哪方面比不过人类?现在,马里兰大学帕克分校 ( UMCP ) 的一项研究告诉你,读漫画可能就是其中之一。

据国外媒体报道,马里兰大学 Mohit Iyyer 教授对 AI 读漫画书的能力进行了测试。结果显示 AI 在这一领域远远比不过人类。

漫画由一系列单独的图画构成,每部分都搭配文字解释,图文符合度很高。这样一来,如果单独看某一张图片或是某一句文本是很难理解到漫画意思的。

除此之外,不同作者的绘画风格、语言风格不同,排版也存在巨大的差异。而且漫画与视频不同,每张图画之间的时间和空间是不连贯的,中间的大量情节需要读者发挥想象力去脑补,这种对人类是轻而易举的事情,对 AI 却是难如登天。

Iyyer 教授用 4000 本漫画书创造了一个由 120 万张漫画画格组成的图库,每张画格配有对应的文本对话框。由于涉及版权问题,图库中的漫画全部来源于 20 世纪 30 年代到 50 年代的作品。

为了弄清楚 AI 理解漫画的能力如何,研究人员进行了让人工智能程序依靠之前见过的图画预测下一个画格的实验。首先研究小组先让 AI 学习漫画的创作过程,将漫画中的一个画格及其对应的文本投给不同的机器算法,让它们学习一组漫画中的每个画格之间是如何相互关联的。在大量训练之后,研究人员把一组AI 之前没有见过的短篇漫画集对它进行测试,并要求它预测出下一张图画或者文本的内容。结果发现,人类预测的正确率高达 80 %,而 AI 却与人类水准相差甚远。

Iyyer 教授解释,“虽然如今的 AI 已经在图像识别、文本识别上取得了不凡的成就,但是对于看漫画这种需要人类大脑进行逻辑推理和想象力思考的活动,它还是远远不及人类。不过,这也是我们今后努力的方向。”

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-11-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【换脸AI升级版】面部表情、身体动作、视线方向都能实时迁移

1733
来自专栏AI研习社

交互式线上科学期刊Distill上线,Ian Goodfellow表示“学ML就找它”

如今,机器学习的发展正如火如荼,每天都有众多最新研究论文在线上发表。论文不仅承担了分享研究成果的责任,同时,也表达了科学家们对事物的不同理解。 为了更好地让机器...

36710
来自专栏新智元

颠覆自动驾驶的AI相机来了!光速执行深度学习

如今,自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能:计算机本质上学会了自己识别物体,比如识别狗、过马路的行人或停车的汽车。主要问题是,目前运行人工...

1252
来自专栏新智元

世界首次!这幅GAN生成的肖像画破天荒被佳士得拍卖

这幅镀金画框里的肖像画描绘的是一位体态肥胖的绅士,可能是法国人——从他的黑色长礼服和纯白领子来判断——可能是一位清教徒。这幅作品似乎尚未完成:人像的面部特征有些...

1222
来自专栏大数据文摘

李飞飞:我们怎么教计算机理解图片

23113
来自专栏AI科技大本营的专栏

人工智能是不可怕,但你也得会用啊!

随着人工智能与机器人技术的发展,几乎所有的行业都开始采用人工智能来取代人类劳动力。 如同圈地运动和农业机械化把劳动力赶出土地的过程一样,眼下这场人工智能革命也正...

3275
来自专栏新智元

无人驾驶 | 剑桥大学深度学习系统助力无人驾驶取得新突破(附论文、视频)

汽车要实现真正的无人驾驶,它必须能够感知和识别周围的物体,并且要知道自己的确切位置。这两方面都是无人驾驶技术的核心。 ? 英国剑桥大学的一个团队利用图像识别和深...

2675
来自专栏程序员笔记

建筑和空间

1825
来自专栏人工智能快报

机器学习可有效锁定贫困地区

美国《国家地理》(National Geographic)杂志发表文章称,机器学习可以帮助有效锁定贫困地区。 斯坦福大学地球、能源与环境科学学院的研究人员在一份...

3629
来自专栏AI科技评论

视频 | 抠图不再麻烦,Adobe 新算法让 P 图以假乱真

这里是,雷锋字幕组编译的Two minutes paper专栏,每周带大家用碎片时间阅览前沿技术,了解AI领域的最新研究成果。

1243

扫码关注云+社区