专栏首页云鼎实验室的专栏用技术对抗技术,腾讯首次公开AI攻击技术和测试研究框架

用技术对抗技术,腾讯首次公开AI攻击技术和测试研究框架

随着AI技术的发展,越来越多的AI技术应用进入了我们的生活,而人脸识别也成为了最常见的技术应用之一,住酒店、坐飞机高铁、使用政务便民服务等场景中,都可以见到人脸识别的应用。

然而,在新技术带来方便的同时,安全风险也随之而来,不法分子开始利用AI深度伪造技术伪造视频进行传播,扰乱社会秩序;一些地方出现利用伪造视频、假体面具等攻击人脸识别技术的案例。

为把握当前世界网络传播与新技术融合发展方向,积极营造网信产业发展的良好环境,推动人脸识别等新技术在互联网信息行业发展和治理方面的应用,腾讯联合中国人工智能产业发展联盟网信技术委员会,共同举办了“人脸识别安全和深度伪造沙龙”。在沙龙上,腾讯首次对外公开了腾讯的AI攻击技术和测试研究框架并对目前的AI过脸黑色产业链进行了分析。

新技术应用便利与风险并存

“深度伪造”需警惕

人脸识别作为人工智能技术越来越被广泛应用,在安防领域更是被广泛应用于犯罪预防预警、治安交通管理、刑事案件侦查等,在追捕逃犯、发现嫌疑人身份、寻找走失人口等方面发挥了重要的作用。在社会管理中尤其是本次疫情防控中人脸识别也体现了独特的价值,在日常工作生活中人脸识别被应用在移动支付、手机解锁、考勤打卡等场景,为大家的生活提供了便利。

但是,新技术的应用也带来了全新的安全风险和挑战,“深度伪造”技术的发展就是其中之一。

深度伪造技术(DeepFake)最早源于2017年底在国外reddit平台上一个匿名用户发布的色情视频,他使用机器学习将色情明星的面孔替换成了名人的面孔,而深度伪造这个词也是由Deep和Fake合并而创造出来的,他实际上是指使用人工智能技术实现对图像音视频的生成或修改,达到信息内容的以假乱真,当前深度伪造中主要应用的深度学习技术,包括了生成对抗网络GAN、辩分解码器VAE还有神经网络CNN等等。

网信办技术委员会领导在沙龙上指出“借助人脸识别深度学习等技术,操纵图像视频内容,深度伪造已经成为换脸的代名词,目前网络上已经出现一些明星以及国外政治人物的深度伪造音视频材料,普通用户很难辨别其真实性。如不及时规范深度伪造的应用,一旦用于别有用心的目的,轻者造成信息受损,重者危害公共安全社会安全甚至政治安全隐患。”

腾讯首次公开

AI攻击技术和测试研究框架

在沙龙上,腾讯云安全副总经理李滨分享了腾讯公司针对当前不法分子利用AI技术进行黑产和网络犯罪活动的对抗研究与经验,以及针对AI应用进行系统化安全分析和防御的成果。李滨认为,虽然AI安全的核心是算法和数据,但在分析整个AI风险面的时候不能仅仅考虑这两个方面,而应该结合应用流程和技术堆栈两个维度,进行端到端的风险面分析和系统化的安全防护。

AI系统的核心构建包括训练和推理两个关键环节,在构建AI应用系统的过程中,除了大家广泛认知到的模型和算法安全问题外,还可能面临数据安全和隐私保护、软件供应链的安全、软硬件系统和应用安全、传感器和端侧计算环境安全、以及数据流的完整性等方面的安全风险。

(从技术栈角度进行端到端的分析)

在AI模型训练和推理的计算过程当中每个数据处理的流程环节有不同的攻击手法。例如在训练阶段,可能获取的训练数据集本身是存在缺陷或偏差的,甚至会面临攻击者对训练数据集进行投毒,这些都会对最终模型的稳定性造成影响。在训练和推理计算过程中也面临包括针对数据预处理、抽样、整形等模型算法实现的攻击手段。在当前的AI应用环境中最常被忽视的是数据源和数据流完整性方面的问题,在数据采集的部分包括端侧设备破解和劫持、传感器干扰、侧信道攻击、数据流的劫持等等问题,这些攻击手段常常会从源头上绕过或干扰AI系统的决策机制。最后在决策执行的过程当中还面临通过平台漏洞对系统的执行流和数据流进行攻击,以窜改最终运行结果这样的攻击行为。

(从应用流程的角度进行端到端分析)

同时,李滨首次对外发布了腾讯的AI攻击技术和测试研究的框架。该研究框架分成AI的模型和算法安全、软件生态和应用开发安全、智能硬件以及嵌入式安全、以及应用和业务风控这四个大的领域。目前腾讯安全云鼎实验室已经总结了各个领域上百种的攻击,其中针对AI软件和框架的专项针对性攻击超过20种。

(腾讯的AI攻击技术和测试研究的框架)

聚焦深度伪造黑产链条 

针对源头进行打击

深度伪造作为AI攻击中最常用的一种技术手段,已经被不法分子利用。不法分子通过获取公民的个人信息、人脸信息从而绕过政企服务和互联网公司的安全策略,利用深度伪造的技术加上一些身份信息和一些信息的诈骗实现人脸实名认证从而达到谋利的目的,形成了AI过脸的黑色产业链。

腾讯守护者计划安全专家黄汉川在沙龙上介绍,身份信息和清晰的照片是“AI过脸黑色产业链”的源头,而公民个人信息的泄露主要可能由企事业单位内鬼售卖泄密和黑客入侵两种途径造成。拿到个人信息后,不法分子使用深度伪造技术并结合摄像头劫持等攻击手段绕过政府、企业、互联网公司的安全策略,从而进行恶意账号注册,大量账号就会用于诈骗、洗钱、薅羊毛等等各种具体的违法犯罪活动上。

但是,黄汉川认为并不用因为人脸识别技术存在被利用的风险就产生不必要的恐慌,目前以腾讯为代表的科技企业,已经通过技术对抗技术,利用成熟的技术和安全策略去识别深度伪造的音视频等,并通过技术手段溯源协助警方进行黑产打击。同时,用户也要注意保护自己的个人隐私信息,不要轻易的提供自己的个人隐私,不轻易的发布自己的人脸照片等。

关注云鼎实验室,获取更多安全情报

本文分享自微信公众号 - 云鼎实验室(YunDingLab)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 除了竞争对手在觊觎,企业泄露的数据还有谁在盯着? | 安全小黑板

    某酒店数据被窃,导致开房信息、个人身份证、手机号泄露; 某英语学习软件用户数据泄露,导致该公司用户被友商争夺流水; 某P2P借贷公司用户数据泄露,大量手持身...

    云鼎实验室
  • 谁在侵蚀你的服务器?揭开挖矿家族 crond 的秘密 | 安全小黑板

    ? 以上就是本期的安全小黑板 下一期,再见~ var first_sceen__time = (+new Date());if ("" == 1 && do...

    云鼎实验室
  • 安全预警 | Apache HTTP Server 组件提权漏洞(CVE-2019-0211)

    (TCSA-2019-0021) ? 关注云鼎实验室,获取更多安全情报 ? 情报详情  ☟ var first_sceen__time = (+new Da...

    云鼎实验室
  • 2019-01-18 数据库入门

    数据库入门一、简介1. 数据2. 数据库(DB)3. 数据库管理系统(DBMS)4. 数据库系统(DBS)二、关系型数据库和非关系型数据库1. 常用数据库2. ...

    贺贺V5
  • 啊,业务层是否也需要服务化?

    《互联网分层架构的本质》简述了两个观点: 互联网分层架构的本质,是数据的移动 互联网分层架构演进的核心原则:是让上游更高效的获取与处理数据,让下游能屏蔽数据的获...

    架构师之路
  • 【大数据分析】大数据分析方法 及 相关工具

    要知道,大数据已不再是数据大,最重要的现实就是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。 越来越多的应用涉及到大数据,这些大数据的...

    陆勤_数据人网
  • 业界 | 快手AI技术副总裁郑文:为什么说AI是短视频平台的核心能力

    郑文是美国斯坦福计算机系博士,研究方向主要集中在计算机图形学和电影特效方面,毕业之后在美国从事机器学习和计算机视觉相关研究,2016 年回国后加盟快手,现任快手...

    机器之心
  • Docker最全教程之使用.NET Core推送钉钉消息(二十)

    上一篇我们通过实战分享了使用Go推送钉钉消息,由于技痒,笔者现在也编写了一个.NET Core的Demo,作为简单的对照和说明。

    心莱科技雪雁
  • AI 诊疗为何还停留在实验室?数据是硬伤

    想象一下:在未来的某一天,如果 AI 诊疗成为了现实,你就能直接在医院用电脑看病了。通过化验的数据,系统很快就给了你一个诊断结果,让你乖乖去开药吃药,甚至决定要...

    AI科技评论
  • 快手AI技术副总裁郑文:为什么说AI是短视频平台的核心能力

    7月初举办的中国软件研发管理行业峰会(CSDI)上,快手AI技术副总裁郑文针对AI技术在短视频领域的应用做了精彩演讲。他介绍了人工智能技术是如何在快手整个业务流...

    量子位

扫码关注云+社区

领取腾讯云代金券