近日三星公司因ChatGPT泄露芯片机密，AI领域有哪些数据安全问题？

👆点击“博文视点Broadview”，获取更多书讯

ChatGPT可以说是近几个月最火爆的，由它引申出来的话题也是层出不穷：

• ChatGPT究竟有多强？
• ChatGPT背后的技术是什么？
• 第一批因为AI失业的人？

可以说ChatGPT几乎涉及到了各个领域，成为大家关注的焦点。

越来越多的人与ChatGPT对话，ChatGPT也逐渐成为各路打工人的“辅助神器”，写代码、编小说、出方案、画图、做动画、剪视频等等。

同时ChatGPT也进入了许多企业，参与到了企业的工作当中。可以说ChatGPT无论是对个人还是企业，都帮助其提高了工作效率。可以说ChatGPT在数不胜数的数据“投喂”中不断自我训练，不断更新迭代。但与此同时也暴露了它存在的“安全隐患”。

近日三星公司就因ChatGPT泄露芯片机密事件，引起了各个行业的广泛关注。

据报道，三星引入ChatGPT仅仅不到1个月的时间，就已经发生了3起重要数据外泄的事件。

该消息一经放出，又再次引发了各界的热议，ChatGPT也再次被推到了风口浪尖。

伴随着AI应用的不断发展，AI数据安全和隐私保护也成为了大家关注的焦点。

那么在AI领域中到底面临着哪些数据安全和隐私保护问题？我们又将如何应对呢？

01

AI中的CIA数据安全模型

AI在数据层、模型层及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点。在数据安全的核心需求中提到的CIAN模型，在AI领域中有特定的内涵，即AI中的CIA数据安全模型。

（1）机密性（Confidentiality）。系统必须保证未得到授权的用户无法接触到系统中的私密信息，既包括模型的训练数据，又包括模型的架构、参数等信息。

（2）完整性（Integrity）。要求模型的预测结果不能偏离预期，防止数据投毒、篡改、对抗样本等。

（3）可用性（Availability）。要求系统在面对异常输入甚至恶意输入时仍能够提供正常服务。

02

AI中的攻击模型

AI中的安全攻击围绕着CIA数据安全模型展开，包括针对机密性的攻击、针对完整性的攻击和针对可用性的攻击。

1．针对机密性的攻击模型

在AI领域中，针对机密性的攻击可以分为训练数据窃取（Training Data Extraction）攻击和模型窃取（Model Extraction）攻击。

其中，训练数据窃取攻击可以分为数据窃取攻击（Data Extraction Attack，DEA）、特征推理攻击（Property Inference Attack，PIA）和成员推理攻击（Membership Inference Attack，MIA）。

（1）数据窃取攻击：发生在AI训练和推理阶段。在训练阶段，当数据持有者使用机器学习即服务（Machine Learning as a Service，MLaaS）平台时，可能会选到由攻击者精心设计的恶意模型，将训练数据编码到模型参数中，攻击者通过解码参数窃取用户的隐私。在推理阶段，虽然攻击者没有原始模型，但是可以首先利用原始模型的模型接口进行查询，得到相应的预测结果，然后利用查询输入和预测结果训练得到一个与原始模型近似的替代模型，最后基于替代模型逆向恢复原始模型的训练数据。

（2）特征推理攻击：主要发生在结果发布阶段。除窃取具体的训练数据外，攻击者还会窃取模型训练数据的敏感隐私属性，如用恶意软件检测模型的训练数据测试环境或某一类数据在训练集中的占比等。

（3）成员推理攻击：主要发生在推理阶段。攻击者利用模型预测结果来推断模型训练数据中是否包含某个训练样本。这类攻击方法给AI安全和隐私保护带来了严重的威胁。例如，在医疗领域，许多自动医疗诊断系统都是基于病患的隐私信息构建的，一旦这些基于机器学习模型的自动诊断系统遭受成员的推理攻击，将大概率导致训练数据中包含的病患隐私信息泄露。

（4）模型窃取攻击：主要发生在推理阶段。由于机器学习模型通常是由一系列的参数决定的，因此通过求解模型参数就可以实现模型窃取，攻击者理论上只需要通过模型预测接口进行n + 1次查询，就能窃取到输入为n维的线性模型。类似地，攻击者可以从一系列的查询结果中逆向提取，得到训练数据、模型架构及优化过程等算法模型的内部信息，这些暴露的内部信息将有助于攻击者生成针对黑盒模型的更有效的对抗样本，从而显著提高黑盒对抗攻击方法的攻击效果。此外，超参数窃取攻击（Hyperparameter Stealing Attacks）适用于岭回归、逻辑回归、支持向量机及神经网络等各种流行的机器学习算法。

2．针对完整性的攻击模型

在AI领域中，常见的针对AI系统完整性的攻击包括投毒攻击和对抗攻击。

（1）投毒攻击：主要发生在训练阶段。如果机器学习模型是根据潜在不可信来源的数据（如Yelp、Twitter等）进行训练的，则攻击者很容易通过将精心制作的样本插入训练集中来操纵训练数据分布，以达到改变模型行为和降低模型性能的目的。这种类型的攻击被称为数据投毒（Data Poisoning）攻击，在学术界受到了广泛关注，在工业界带来了严重危害。例如，微软Tay，一个旨在与Twitter用户交谈的聊天机器人，仅在投入使用16小时后就被关闭，只因为它在受到数据投毒攻击后开始做出种族主义相关的评论。大多数针对投毒攻击的防御机制依赖于一个事实，即投毒样本通常在预期输入分布之外。因此，投毒样本可被视为异常值，并且可以使用数据清理和鲁棒学习来净化训练样本。

（2）对抗攻击：主要发生在推理阶段。最常用的攻击手段是通过向正常样本中添加精心设计的、人类无法感知的噪声来构造对抗样本，从而达到不干扰人类认知而促使机器学习模型对精心构造的对抗样本进行错误判断的目的。这种攻击方法被称为对抗攻击或对抗样本攻击。对抗攻击的核心在于如何构造能促使机器学习模型产生误分类的对抗样本。传统的模型优化手段（如权重衰减或随机失活）虽然在一定程度上可以让机器学习模型更加鲁棒，但通常无法切实防范对抗攻击。机器学习模型内在的复杂性使其在预测阶段难以获得对于对抗攻击的鲁棒性，但这种复杂性保证模型具有强大的建模能力的必要条件。到目前为止，并没有一个完全令人满意的对抗攻击防御方法，因此设计更强的防御方法是未来AI模型安全保护研究的重点。

3．针对可用性的攻击模型

针对可用性的攻击通常发生在AI系统的推理或运行阶段。由于在推理阶段，机器学习系统可能会接收并处理大量的异常输入甚至恶意输入，因此机器学习模型的可用性可以成为攻击者的攻击目标，以迫使系统无法提供正常的服务。例如，在无人驾驶领域，如果攻击者把一个非常难以识别的物体放在车辆会经过的路边或对交通标志进行物理意义上的扰动，就有可能迫使一辆自动驾驶汽车进入安全保护模式并停在路边，无法进行正常工作。

03

典型AI场景中的数据安全问题

以上对AI领域中攻击模型的分析揭示了AI由于技术特点所面临的多种数据安全风险。除此之外，AI在实际应用中还会面临数据过度采集、数据偏见歧视、数据资源滥用等问题，以及数据权属和违规跨境等数据治理问题。

因此，在实际AI场景中，所需要防御和解决的数据安全问题呈现出极大的多样性和复杂性。《机密计算：AI数据安全和隐私保护》一书后面的章节将主要针对典型AI场景中的隐私保护和数据安全问题，逐步深入地探讨相关的防御技术、解决方案和工程实践，包括如下三种场景。

（1）在线推理服务场景。通常的在线推理服务系统提供网络接口接收用户格式化的数据作为输入，经由AI模型计算后得到输出，并进行后处理之后发送给用户。在线推理服务场景面临的安全问题主要包括模型的知识产权保护、模型与数据集的安全性及在线推理服务系统的可用性等。

（2）模型训练场景。联邦学习作为分布式机器学习算法在AI模型训练中得到了广泛应用。联邦学习解决了训练中的“数据孤岛”问题，使得数据在不出本地节点的情况下，多个参与方可以共同训练出一个优异的模型。虽然联邦学习对各参与方的数据隐私有一定的保护，但是本身仍然面临各种数据安全问题，包括中心服务器的可信度、恶意参与方的防范、基础模型防病毒、模型生成质量、传输间安全及开源框架安全漏洞风险等。

（3）大数据AI场景。虽然现有的大数据生态已经普遍运用访问控制、网络安全传输及数据加密等技术手段提升数据和平台的安全性，但是由于缺乏端到端的隐私保护方案，大数据AI仍然面临数据安全风险。例如，对于运行环境没有足够的保护，环境一旦被攻破，攻击者不仅能够获取权限，还可以获取敏感内容。另外，大数据AI平台的各类安全功能的配置极其复杂和烦琐，需要维护人员对大数据生态有较深的理解。

以上部分内容节选自《机密计算：AI安全和隐私保护》一书。

本书主要内容及特点

《机密计算：AI安全和隐私保护》的主要内容和特点有：

• 它从基础原理到实践应用，涵盖了机密计算领域的核心知识点；
• 它从理论分析到工程实现，介绍了机密计算技术的发展历程和最新进展；
• 它从概念定义到案例解析，阐述了机密计算技术在各个行业和场景中的应用价值和挑战；
• 它从国内外视角出发，对比了不同国家或地区在法律法规、标准规范、产业生态等方面的差异和优势；
• 它结合作者多年在该领域的研究经验和实践成果，分享了一些独到的见解和建议。

京东限时五折，快快扫码抢购吧！

423阅读狂欢节

全场5折起

活动时间：2023.4.6-2023.4.23

扫描下方二维码还可以领取叠加优惠券哦！

优惠券限京东自营大部分图书使用，具体情况以实际提示为准。

发布：刘恩惠
审核：陈歆懿 

如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连<  PAST · 往期回顾  >
AI大模型加速升级，数据和隐私何以为安？

点击阅读原文，查看本书详情！