首页
学习
活动
专区
工具
TVP
发布

我们不该相信神经网络来分析图像的1000个理由!

说到图像识别技术,愚弄机器仍然轻而易举。虽然神经网络误将一只蝴蝶当成一台洗衣机有点搞笑,但如果你考虑将这些有缺陷的系统大批投入到实际环境,这种愚蠢行为的后果非常可怕。

来自加利福尼亚大学伯克利分校、华盛顿大学和芝加哥大学的研究人员本月发表了一篇论文(https://arxiv.org/pdf/1907.07174.pdf),实际上充分暴露了神经网络在正确识别图像时存在的弱点。他们专门探究了自然对抗样本(natural adversarial example),出现在自然界的这些例子诱骗机器学习模型错误分类对象。

研究人员筛选了7500个自然对抗样本,归入到一个名为IMAGENET-A的数据库中。据论文显示,为数据集选择的图像是从来自网站iNaturalist的数百万用户标记的动物图像以及Flickr上用户标记的对象获取而来的。研究人员先下载了与数据库的一个类别有关的图像,删除了一个单独的机器学习模型正确分类的图像,然后从剩余的这批图像中手动选择高质量的图像。

研究人员阐明了如何分解蜻蜓特有的图像,在论文中示例表明了这个过程。他们从iNaturalist下载了81413个蜻蜓图像,过滤后剩下8925个图像。“算法建议的短名单”得出1452个图像,研究人员在此基础上再手动选出了80个图像。

数据库中最终包含的数千个图像都无法正确地对图像中的对象进行分类,原因有很多,但没有一个是故意的恶意攻击。神经网络出岔子的原因包括:天气、照片取景方面的变化、局部被遮盖的对象、过于依赖照片中的纹理或颜色,以及其他原因。研究人员还发现,分类器有可能过度概括、过度推断以及错误地包含切向类别。

这就是为什么神经网络将蜡烛分类成南瓜灯、而置信度高达99.94%,尽管图像中根本没有雕出来的南瓜。这就是为什么神经网络将蜻蜓分类成香蕉,研究人员猜测这是由于附近有一把黄色的铲子。这也是为什么对一条游动的鳄鱼取景时略有变化时,神经网络将它归类成悬崖、猞猁和黑松鼠。这也是为什么分类器将三轮车过度概括成自行车和圆圈,以及将数字时钟过度概括成键盘和计算器。

这些研究结果并没有启发性,但数据库的稳健性有助于了解图像识别系统失败的所有方式。研究人员在研究论文中指出,这是“一个重要的研究目标,因为计算机视觉系统部署在越来越不稳定的环境中。”最值得注意的是,这些系统现部署到自动驾驶汽车和日益自动化的仓库中。实际上,今年早些时候,研究人员只是转动了3D物体的照片,就骗过了深度神经网络,特别指出面对依赖图像识别技术的自动驾驶汽车时这个缺陷多么地危险、令人不安。

奥本大学计算机科学助理教授、该论文的研究人员Anh Nguyen在电话中告诉IT外媒Gizmodo:“你可以想象仓库中的机器人或移动家庭机器人,它们环顾四周,试图为你捡起东西或找到钥匙。这些四处摆放的对象可能呈各种姿势、各种方向。它们可能在任何地方。别指望它们呈规范的姿势,所以它们会被对抗姿势所骗倒。”

Nguyen还指出,稍稍调整对象的角度对机场和其他安全检查点的运输安全管理局(TSA)而言,可能会如何影响图像识别,或者会如何影响战场中的自动目标识别。他说:“这个安全漏洞在许多应用环境下会是比较大的问题。”而这仅仅适用于一个对抗样本。正如研究人员在7月的这篇论文中表示,这只是无数例子中的一个而已。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190729A0TWL100?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券