全球头号黑客、计算机安全教母，腾讯副总裁如何看待AI时代的安全

李根 继续发自 国家会议中心 量子位 报道 | 公众号 QbitAI

上次量子位撰文介绍过，AI加持下的安全话题正在升温，仅6月份就有总额30亿元的投资流向安全创业领域。

同样的现象在中国互联网安全领袖峰会（CSS2017）现场发生。这个由腾讯主办的网络安全大会，虽然主题还不是“人工智能”直接相关，但言谈论断之间，AI已然是不可忽视的话题。

在大会现场，腾讯公司分管安全的副总裁丁珂、素有“世界头号黑客”之称的Kevin Mitnick，以及美国加州大学伯克利分校教授、“计算机安全教母”宋晓东(Dawn Song)，就AI趋势下的安全话题，接受了量子位采访。

△ 腾讯公司副总裁丁珂

腾讯的思考：“伦理”先行

腾讯公司副总裁丁珂告诉量子位，AI下的安全问题，新且特别重要，在AI技术发展过程中，固有边界正在被打破，全新的问题正在发生。

丁珂具体解释称，机器智能的时代正在把很多正常的逻辑变成黑箱操作，其中机器数据被污染的过程，会影响你的样本和判断，会带来更加隐蔽、危害的安全问题。之前人类依靠逻辑和自制，加之社会化关系的存在，可以相互制约和问责，但AI将改变这一切。

在腾讯方面看来，AI时代的安全问题，有一半是传统的Anti-Pro、Anti-SPAM方面的技术，更多的是技术和伦理上的探索。

技术方面尚有积累支撑，但边界判断上，开始涉及新的伦理标准。

“我们现阶段更多在探索各方面跨界问题，在认知上界定的过程，未来人工智能在几大领域里，在自动驾驶、图像学习（深度医疗）、决策支持领域（聊天，决策辅助），如果不在边界问题上没做好安全把关，问题就变得不好把控。”他向量子位举例说。

最后，这位腾讯内部分管安全的副总裁还总结称，以安全的原则来讲，让一个事物繁荣发展的基础，一定是事先预知到它能最坏到什么程度，还要认知清楚其基础健康和可持续发展的基本原则。

△ “世界头号黑客”Kevin Mitnick

传奇黑客：智能=脆弱

此次CSS大会中，素有“世界头号黑客”之称的Kevin Mitnick也被邀请到现场，这是他第一次来到中国，距离他大战FBI、并被列为头号网络安全通缉目标已然过去20年。

现在的Kevin Mitnick拥有自己的安全咨询公司，黑客出身的他，正在把才能和技术转换为对抗网络攻击的建议和方法。

Kevin Mitnick表示，AI正在把越来越多设备“带入”网络世界，我们有了越来越多的智慧城市、智能家电和智能汽车，但根本上讲，Kevin Mitnick眼里看到的满是“脆弱城市”、“脆弱家电”和“脆弱汽车”，因为所有的设备都可以被攻击和利用，所以源头安全认证应该成为当务之急。

Kevin Mitnick向量子位表达的建议是，公信机关应该专门成立一个部门，在IOT设备发布之前，都需要经过安全认证，代码安全与否先进行检验，然后才规模才进行进一步部署。

这位传奇黑客称，至今为止的安全认证，一般采用了“默认凭据”形式，但很多安全事件，源头问题正是“默认凭据”，而随着AI发展以及越来越多IOT设备被连接，这样的隐患可能造成的危害，将比以往更加可怕。

不过，Kevin Mitnick也强调，现在还没有真正符合AI核心技术的工具或产品出现，更多产品重心在“决策”，所以他自己也尚未有对AI产品进行安全分析评估的经验。

但AI的趋势已然浩浩汤汤，Kevin Mitnick介绍说，他本人在加州创立了一家专门开发AI工具产品的公司，未来会通过在社交网络上抓“钓鱼”来给用户提供安全环境，这款工具的背后技术原理是机器学习，通过数据模型，可以让机器学会快速识别“钓鱼网站”的能力——这个产品已经在开发中。

△ “计算机安全教母”宋晓东(Dawn Song)

“计算机安全教母”宋晓东：以攻击之道开发AI系统

除了传奇黑客Kevin Mitnick，加州大学伯克利分校教授宋晓冬(Dawn Song)也是CSS上备受关注的嘉宾，这位有“计算机安全教母”之称的教授，曾是“麦克阿瑟天才奖”获得者，也是污点分析理论提出者。

与Kevin Mitnick的看法不同，宋晓东认为AI相关的安全问题，已经迫在眉睫，而且应对AI时代的安全攻击，需要AI开发者从产品设计之初就考虑。

“历史已经证明，攻击者一直都会跟随最新技术，甚至有时候还会引领最新技术。”宋晓东提示说。

而且值得注意的是，现在面临的风险在AI领域会变得更高，因为AI会控制越来越多的体系和系统，如果攻击者想要攻击AI系统且得逞，那后果就会非常严重，比如攻击者通过一辆无人车发动攻击。

如何应对呢？

宋晓东的核心思路是，AI开发者开发AI系统时，就需要从攻击者的角度思考问题。

可能会有两种情况，一是攻击者攻击AI系统，让这个系统做出错误决策。这种情况就需要开发者提升自己的学习系统，建筑防火墙，还需要把更好的安全系统嵌入到深度学习的体系中。

另一种情况是攻击者滥用AI工具和技术，用以攻击其他体系，这同样要求开发者开发的学习系统具备更强的安全性。

加强学习系统安全性，就意味着要了解目前深度学习的“弱点”。比如通过对抗的样本混淆系统、造成系统识别错误，这会让包括自动驾驶在内的高安全要求领域经受巨大风险。

所以宋晓东建议，深度学习系统搭建中，模型、图形选择、代码和黑箱攻击防御，都需要关注对抗样本被重构造成的攻击风险。

另外，她还认为在开发新神经网络特征的过程中，进行递归、循环，更容易推理、模块和泛化，也更能保证程序的安全可靠性。

最后，这位“安全教母”认为，虽然AI时代带来的安全挑战将难以预计，但AI也可以更好帮助开发者设计更安全可靠的软件，深度学习已经改变了当前的安全形势和安全能力，让认知系统变得更加强大，并能更广泛部署到各种产品中，且可以让产品本身获得新能力，拥有识别恶意软件、判断欺诈的能力。

所以根本上说，AI可能带来最严峻的挑战，但也会带来最好的时代。

△ Kevin Mitnick的名片

OMT：“世界头号黑客”的名片

最后，在采访Kevin Mitnick后，这位“世界头号黑客”与量子位交换了名片，卡如其人，金属打造的名片显得与众不同，而且镂空图案也颇有意思。

Kevin Mitnick笑着告诉量子位：你可以用它（名片）拼出一把钥匙，”hack”你想要去的任何地方。(笑）