专栏首页人工智能头条机器学习安全不容忽视

机器学习安全不容忽视

来源 | CACM

编译 | 孙薇

过去五年中,机器学习技术获得了长足的进步。之前,这只是一个很有希望但并不成熟的技术,而如今在很多任务上,机器学习这项技术都可以达到与人类接近的水平。在不久的将来,从无人驾驶汽车到虚拟助手,再到人脸识别软件,多项直接影响社会的技术都可能会使用到机器学习。

恶意输入影响机器学习

然而在进步发展的同时,我们也要考虑安全问题。通过恶意输入,机器学习算法可能在训练期间“中毒”,或者在训练之后被复制。通过对图像进行人眼几不可见的微小改变,黑客可以愚弄视觉处理系统,对其进行欺骗。上图左侧的校车和狗在经过微调后,成为了右侧的图片。在人眼看来几无差别,但却可以欺骗视觉处理系统,将其识别为“鸵鸟”。

专家警告:不要等到机器学习算法用于数十亿台设备之后,再考虑被黑客攻击的问题。在机器学习的相关论文中,研究者们多次提出机器学习的不准确性——对某些像素进行微调,就能欺骗,神经网络。原因在于:虽然这些复杂的网络由多层处理器组成,但各个层面本质上都是通过分段线性函数来转换输入内容的,这种线性使得相关模型对推论容易盲从。

研究人员发现,他们设计了一个案例以愚弄某个机器学习算法,却同时骗到了其他机器学习算法。这意味着攻击者只需了解到相关的模型,知道该算法对数据分类的方式,就能使用这些数据来训练或攻击不同的模型。

研究者认为,目前正是考虑机器学习安全问题的最佳时机。软件开发者习惯在事后进行总结,修补Bug,而不是将其集成到开发阶段。而机器学习是一个巨大的领域,我们应当从最开始就考虑到安全的问题。目前已有解决对策:将黑客所使用的误导案例也添加到机器学习库里,为机器学习算法“接种疫苗”,这样将会让神经网络更难被欺骗。

本文分享自微信公众号 - 人工智能头条(AI_Thinker)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一篇文章读懂机器学习

    用户1737318
  • 最全技术图谱!一文掌握人工智能各大分支技术

    用户1737318
  • 关于机器学习 你不得不思考这些问题

    用户1737318
  • 这是我看过最好的「机器学习」科普文章了

     在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的...

    Java3y
  • 【机器学习】一文读懂机器学习,大数据/自然语言处理/算法全有了……

    作者:计算机的潜意识 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是...

    陆勤_数据人网
  • 深入浅出,一篇超棒的机器学习入门文章

    ? 原文链接:http://www.cnblogs.com/subconscious/p/4107357.html 在本篇文章中,我将对机器学习做个概要的介绍...

    CDA数据分析师
  • 一篇文章读懂机器学习

    用户1737318
  • 一文读懂机器学习,大数据/自然语言处理/算法全都有!

    在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外...

    CDA数据分析师
  • 算法channel使用指南(V2.0)

    01 引言 欢迎关注 算法channel ! 交流思想,分享知识,找到迈入机器学习大门的系统学习方法,并在这条道路上不断攀登,这是小编创办本公众号的初衷。 本...

    double
  • [置顶] 《Python机器学习算法》的写作历程

    前言 首先,感谢各位支持我博客的同学,你们的支持是我一直努力的动力,正是因为你们的支持,才有了《Python机器学习算法》一书的面世: ? 目前,该书已经可以在...

    zhaozhiyong

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动