自研AI强势领跑，这家清华孵化的初创公司开拓出AI安全新赛道

在今年的 KDD 2019 大会中，RealAI（瑞莱智慧）拿下了初创公司创业研究奖，成为四家获奖公司之一。荣获这一数据挖掘研究领域顶会的奖项，RealAI 却很是低调。在其当日的公众号推文中只是寥寥几句，“未来 RealAI 将继续进行人工智能基础技术的自主研发，在此领域持续深耕，不断拓展人工智能的边界。”

RealAI 成立于 2018 年 7 月，虽然成立时间不长，但其技术背景之强令人咂舌：背靠清华大学 AI 研究院、团队内 AI 大牛云集，如中科院院士张钹、曾入选 MIT TR35 的朱军教授、清华特奖获得者田天等等。

图 | RealAI

AI 创业潮淘洗出了一大批基于深度学习的 AI 公司。而基于清华研究成果，RealAI 却看到以深度神经网络为代表的第二代 AI 算法应用存在的局限，进而比其他团队更深一步，在深度学习方法中融入贝叶斯学习的一些特点，比如对先验信息的结合、对不确定性的分析等，旨在打造安全、可靠、可解释的第三代人工智能。而之所以把安全放在第一和根本性的地位，RealAI 也有别样的考量。

AI 技术被滥用

任何新技术都是双刃剑，人工智能也不例外。例如，AI 换脸技术就滋生出一条黑色产业链。《南都周刊》微信公众号在近期转载的一篇推文中提到，许多人开始叫卖 AI 换脸的情色视频、定制视频以及 AI 换脸教程。Deepfake 换脸视频最早出现在 2017 年底，这些视频通过人工智能算法将一个人的脸合成到另一个人的视频中，因为有足够的训练数据和算力积累，再加上技术门槛低，这项技术很快就达到了以假乱真的地步甚至不断“黑化”。

图 | 通过 DeepFake 技术，盖尔·加朵的脸被加在了成人女星身上（来源：reddit）

谁也没想到，大家了解这项技术是从 AI 合成的欧美女星情色片开始的。在美国，这一技术被用来制作色情报复作品。在印度，民族主义者利用 Deepfake 来抹黑和煽动针对女记者的暴力。

你看到的视频和新闻可能是假的，更可怕的是，你的手机、电脑、智能门锁等等应用了人脸识别技术的场景可能被别人轻松攻破，银行的身份认证、支付安全防护都可能出现问题，安防领域的监控识别也可能失灵，伪造视频绑架勒索变得简单，甚至很容易就能制造社会恐慌。

AI 技术的使用超出边界，产生了严重的安全问题。同时，AI技 术的滥用还带来了隐私和伦理问题。当 AI 开始触碰边界问题的时候，安全性就成为 AI 技术发展过程中必须思考的课题。

“此前 AI 安全相关的新闻相对较少，公众并没有意识到 AI 安全危害到底有多大。但最近一段时间不断涌现的恶性事件，让 AI 安全这一话题从学术圈走到了更大的社会圈。在未来几个月的时间内，AI 安全可能会形成更大的影响力，社会各界都将意识到这个问题。”RealAI CEO 田天说。

AI 安全的两大问题

实际上，很多场景的安全问题都是传统的深度学习技术难以解决的，必须通过一些更新、更前沿的人工智能技术才有可能解决。AI 安全是一个全新领域，不管是攻击检测手段还是防御手段，要有针对性地进行研究才有可能解决这些问题。

RealAI 认为，AI 安全问题可以从两个层面来理解，一个是算法本身存在漏洞，另一个是技术被滥用。

AI 算法漏洞方面的学术研究早已有之，产业界在近些年开始关注。目前 AI 算法安全的主要风险在于对抗样本攻击，即通过输入恶意样本来欺骗算法，最终使 AI 系统输出非预期的结果。通过生成对抗式图像，能够欺骗人工智能，使 AI 系统识别错误，比如在身上贴一张纸，就能实现在监控设备下“隐身”。

和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，之后该对抗性数据就如同正常数据一样输入机器学习模型并实现“欺骗”。根据攻击者掌握机器学习模型信息的多少，可以分为白盒攻击（在已经获取机器学习模型内部的所有信息和参数基础上进行攻击）和黑盒攻击（在无法获取机器学习模型内部的所有信息和参数基础上的攻击）。

图 | 破解人脸识别（来源：RealAI）

要防御对抗样本，就得通过数据清洗和数据过滤，让算法模型在有对抗样本的情况下依然能够可靠运行。常用的训练策略包括，训练其他的分类器来检测对抗输入和实行对抗训练程序。

针对类似 Deepfake 换脸这类 AI 技术被滥用的问题，RealAI 也尝试通过技术手段来检测规避，目前开展了检测换脸假视频的工作，主要应用深度生成模型，通过生成更加逼真的假视频训练一个更加鲁棒的模型来检测假视频。“在我们的数据集上面，检测准确率可以达到 99% 以上，能够覆盖市面上绝大多数换脸技术生成的假视频。”RealAI 算法科学家萧子豪说。

图 | 换脸检测（来源：RealAI）

类似的人脸识别技术已经大量运用在生活、商业的各类场景，譬如人脸解锁、刷脸支付、贷款身份认证等等。RealAI 目前可以对主流的 AI 人脸识别技术提供商进行安全评测，并通过 AI 防御技术、“AI 防火墙”有效识别和拒绝攻击者。而在物体识别方面，针对人工智能系统的伪装及检测技术，则可以被应用在隐私保护、公共安全等领域。

技术滥用方面，萧子豪认为，技术滥用的根本原因在于 AI 技术本身的突破、技术门槛逐渐降低，再加上算法的漏洞，所以有了现在越来越严重的安全问题。

“这会让人觉得眼睛看到的都不是真的，在接收到信息之后都需要先辨别真假，所以技术的滥用会存在很多恶意的威胁。”萧子豪说道。

全新的 AI 安全赛道

AI 技术被滥用，自然催生了 AI 安全的市场需求。

然而，目前大量 AI 公司都集中在应用开发领域，而专注于 AI 安全研究，尤其是原创性、创新性技术研究的公司屈指可数。RealAI 是国内顶尖的 AI 团队之一，也是 AI 安全领域处在世界前列的公司。他们认为，人工智能安全未来将会发展到和网络安全同等的规模。

基于清华研究团队的多年积累，RealAI 在攻击、防御方法等AI安全研究方面有着深厚的技术积淀。在许多国际性 AI 安全大赛上，包括像 Google Brain&NIPS 的 AI 安全竞赛、DEFCON 大会 AI 安全大赛等，清华研究团队曾斩获多项冠军。

需要关注的是，今年 5 月，在张钹院士“第三代人工智能”概念的指引下，RealAI 与清华大学人工智能研究院联合开发的 RealSafe 人工智能安全平台正式发布。RealSafe 作为深度学习攻击防御算法与评测的统一平台，提供多种攻击与防御算法，并融合白盒、黑盒等不同场景，提供全面、细致的攻击防御算法的评测与比较。

图 | RealAI 会议（来源：RealAI）

对于如何看待 AI 安全这一全新赛道的未来发展，田天表示，“AI 安全是个很大的领域，不是某一位研究者、某一家企业就能够将 AI 安全的所有问题都解决，未来需要更多的人加入进来，共同推动 AI 安全技术的进步。”

而在具体实施层面，田天认为，“首先，我们不能盲目的认为人工智能技术很强大，就直接拿来解决各种问题。其次，无论是应用落地还是技术本身研究，安全性都必须作为一个非常重要的考量标准，尤其是进行技术研发时，要有更多安全性的考虑，不能只单纯追求性能指标的提升。另外就是制定 AI 安全方面的行业标准是有必要的，要让所有参与者在统一的框架下去讨论、落地这个事情。”

最后，田天强调，任何一项技术本身是没有善恶的，从管理规范的角度来说，应该有一些法律法规来引导科技向善，技术方面也要能够“魔高一尺道高一丈”，当攻击技术出现的时候要有相应的防御技术去抵制。