国安部：警惕AI“数据投毒”！人工智能训练数据良莠不齐

今日，国家安全部发布安全提示文章，人工智能的训练数据存在良莠不齐的问题，其中不乏虚假信息、虚构内容和偏见性观点，造成数据源污染，给人工智能安全带来新的挑战。

研究显示：当训练数据集中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；即使是0.001%的虚假文本，其有害输出也会相应上升7.2%。

当前，互联网AI生成内容在数量上已远超人类生产的真实内容，大量低质量及非客观数据充斥其中，导致AI训练数据集中的错误信息逐代累积，最终扭曲模型本身的认知能力。数据污染还可能引发一系列现实风险，尤其在金融市场、公共安全和医疗健康等领域。

在金融领域，不法分子利用AI炮制虚假信息，造成数据污染，可能引发股价异常波动，构成新型市场操纵风险；在公共安全领域，数据污染容易扰动公众认知、误导社会舆论，诱发社会恐慌情绪；在医疗健康领域，数据污染可能致使模型生成错误诊疗建议，不仅危及患者生命安全，也加剧伪科学的传播。

以《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律法规为依据，建立AI数据分类分级保护制度，从根本上防范污染数据的产生，助力有效防范AI数据安全威胁。