AIGC日日生新，商汤发布SenseTrust治理平台，护航生成式AI可信发展

（2023年7月17日，上海）生成式AI火爆全球，国内外AI大模型日新月异，人工智能加速走进日常生活。如何在技术“狂飙”的同时，引导技术应用的正向发展？在本年度世界人工智能大会上，商汤科技就此问题给出了答案：着眼现实问题，用可信AI基础设施“护航”大模型发展。

继4月发布自研大模型体系后，商汤迅速升级迭代，重磅推出全面升级的“商汤日日新SenseNova”。与之一起亮相的，还有商汤可信AI基础设施—SenseTrust。SenseTrust包含一套完整覆盖数据、模型、应用治理环节的可信AI治理工具，可为商汤自身及行业提供伦理、安全二维一体的检测与加固解决方案，推动发展安全可信的人工智能产业生态。

活动上，商汤副总裁、AI伦理与治理委员会主席张望表示：“技术规模化落地有两点关键条件，一是成本低、应用广的普惠性，二是要可靠、可信的安全性。以大算力为基础的大模型及通用人工智能为加速了条件一的满足，同时也带来了技术滥用风险的规模化升级。如何保障人工智能系统的安全可信已经成为业界乃至全社会面临的一项紧迫课题。为此，商汤针对新时期人工智能的风险特点，打造覆盖数据处理、模型开发、应用部署等AI系统全生命周期的可信AI基础设施SenseTrust，以助力打造可信的大模型。”

活动期间，商汤也正式发布了人工智能伦理与治理的年度报告——《商汤大模型伦理原则与实践白皮书》。白皮书由商汤智能产业研究院与上海交通大学计算法学与AI伦理研究中心共同编制。白皮书以大模型的发展为背景，以生成式人工智能的治理为主题，以“商汤日日新SenseNova”大模型体系治理实践为案例，提出了生成式人工智能治理的核心原则和“三维对齐”科技伦理模式，系统呈现了双方在AI治理领域的最新观点。

范式变化引发新挑战 业界亟需新时代下技术治理手段

大模型时代，“基础模型+微调”为主要特征的生产范式大大降低了开发成本和应用门槛。AI应用场景更加开放、数据模态更加多元、应用领域更加广泛；与之对应的，技术滥用、风险来源指数级增长，风险评估标准更加难以界定，潜在影响规模化扩散。在应用层面，诸如“幻觉”现象、数据投毒、混淆攻击、诱导攻击等具有现实意义的风险挑战陆续显现。无论是未来生命研究所发布的公开信，还是国内外一系列监管政策的推出，都反映出全球各方对人工智能风险挑战的高度关注。

大模型时代：生产范式变革引发AI风险范式转变

商汤“SenseTrust”构筑大模型时代的“压舱石”

作为行业领先的人工智能企业，商汤科技一直以来高度重视人工智能伦理与治理工作，将技术创新与技术治理并重。早在2019年商汤就同步启动了两项前瞻性工作，一项是大模型研发，另一项就是AI伦理与治理。此前，商汤已形成较为完善的人工智能伦理与治理组织结构、管理制度、审查机制、工具体系、伦理文化建设体系和外部生态网络，并收获行业广泛认可。

新时代下，技术加速创新、应用日新月异，传统运营式的治理手段需相应升级，以适应飞速发展、无限拓展的治理需求。商汤整合长期伦理治理思考及技术能力，针对当下生成式人工智能的风险特点，打造可信AI基础设施——SenseTrust，包含数据治理、模型治理、应用治理等层面技术工具，可提供数据处理、模型训练、模型部署、推理服务等全方位、全链路的可信AI检测与加固“工具箱”，为大模型时代构筑“压舱石”。

“SenseTrust”——商汤可信 AI 基础设施应用图景

 · 在数据层面，“SenseTrust” 能够提供从数据脱敏、数据去毒、数据合规审查及偏见评估等治理工具。例如，在模型训练数据的预处理环节，“SenseTrust”提供的数据去毒工具能够检测数据来源中是否包含带有后门、扰乱的有毒数据，并提供去毒方案。针对显式、隐式等不同形式的“毒素”检测率大于95%，结合数据清洗与对抗防御等方法，能够实现有效去毒。目前，“SenseTrust”数据脱敏工具已落地数据标注、城市管理，以及自动驾驶相关业务场景。

 · 在模型层面，“SenseTrust”能够针对传统判别式模型和生成式模型的不同特点提供标准化和定制化的模型评测能力。针对判别式模型，可就能够面向活体识别、图像分类、目标检测等商业化需求提供一键式评测；针对生成式模型，商汤“SenseTrust”构建了百万量级的测试数据集，覆盖三十余类伦理和安全测评维度，可对对抗安全、鲁棒安全、后门安全、可解释性和公平性评测。为进一步提升模型的风险防御能力，商汤“SenseTrust”还能够提供“AI防火墙”，从源头过滤对抗样本，综合检出率达到98%。

 · 在应用层面，商汤在涉及数据保护、数字取证及伪造检测等技术领域有着深厚的积累，并逐步开发了基于生成、鉴伪和溯源三位一体的综合解决方案。例如，针对各方颇为关注的AIGC相关确权溯源和鉴伪问题，“SenseTrust”为此开发了数字水印解决方案，可将特定信息嵌入到数字载体中，不影响载体的使用价值，也不易被人察觉，只有通过特定的解码器和专属密钥才能提取，能够支持多模态数据。数字水印技术已服务于“商汤秒画SenseMirage”、“商汤如影SenseAvatar”等多个产品，以及内容创作、大数据等领域的客户。

今年WAIC上，“商汤日日新SenseNova”大模型体系再度升级。针对体系内的一系列应用平台，商汤在传统“判别式模型”治理经验的基础上，结合生成式人工智能的风险特点，利用SenseTrust工具体系进行了一系列测评，并开展持续的跟踪测试，不断提升风险防御能力。

SenseTrust可进行全方位、全链路的可信AI检测与加固

与此同时，商汤也积极将大模型和生成式人工智能的治理实践成果向外输出。例如，将商汤“SenseTrust”综合鉴伪解决方案投入到十余家银行的安全系统中，实现对各类灰黑产攻击拦截成功率超行业同类产品20%以上，有效防范了黑灰产身份盗取、支付盗刷等网络诈骗。此外，包括模型体检、数字水印，以及主动投毒保护等相关技术，也已通过“商汤AI安全治理开放平台”对外开放。