端侧大模型更容易被攻击？

2024年，被称为端侧大模型元年。作为一家专业的人工智能生态治理公司，君同未来密切关注端侧大模型的可靠性、隐私和安全问题。

据《2024年中国端侧大模型行业研究报告》指出，从隐私和安全来看，端侧大模型从本质上有助于保护用户隐私，因为查询和个人信息完全保留在终端上。对于企业和工作场所等场景中使用的生成式AI，这有助于解决保护公司保密信息的难题。

那么，端侧大模型是否更让人省心？端侧大模型会比云端大模型更安全吗？

君同未来创始人韩蒙博士在 2024 年世界互联网大会 “端侧模型与智能体能力及应用咖荟” 活动上，发表题为《端侧大模型应用及风险治理》的主题演讲。他提出 “端侧大模型更容易被攻击” 的洞察和观点，引发思考。他指出，端侧大模型技术正快速发展，在其创新应用迎来机遇的同时，也面临可靠可信、治理经验匮乏等一系列挑战 。

1、端侧大模型应用现状

韩蒙博士介绍，伴随技术的进步，端侧大模型应用将逐步深入人们的日常生活，为用户带来更加便捷、个性化的服务体验。目前Octopus V4、Stable-code-3b等常见的端侧大模型已在智能手机、智能汽车、智能机器人、可穿戴设备等智能终端领域得到初步应用，场景覆盖人脸识别、语音助手、智能辅导、医疗诊断和自动驾驶等。

随着端侧大模型落地趋势的快速发展和普及应用，我国多部委开始陆续出台多项人工智能治理政策，以保障智能终端核心技术与产品服务的有序推进和健康发展，促进技术革新和产业升级。

2、为什么端侧大模型更容易被攻击？

端侧大模型因其应用的广泛性、普适性，越来越成为终端设备厂商等们发力的重点。尽管端侧大模型在多个领域展现出了巨大的潜力和价值，但其在实际应用中也面临着诸多挑战和风险，包括但不限于模型幻觉问题、系统响应的延迟现象以及安全方面的脆弱性等。

韩蒙博士以具身智能场景举例，端侧大模型还面临着感知误差、推理失误和执行错误等一系列更为复杂的挑战。这些问题不仅影响用户体验，还可能带来安全隐患。于此同时，随着端侧大模型的流行和快速发展，其被攻击的风险也日益凸显，韩蒙博士认为，端侧大模型更容易被攻击，其原因主要表现为：

模型对齐能力不足

端侧设备通常具备的计算能力远低于云端服务器。端侧大模型的计算力和内存资源均受到严格限制，不能进行大规模的模型优化和对齐操作。此外端侧模型往往需要经过简化和压缩，这直接影响了其表达能力和对任务的适应性。受限于端侧模型表达能力，模型对齐增强更为困难。

外部防护缺失

端侧设备上通常缺乏强大的安全防护机制，如毒性内容检测、访问控制、攻击检测等。没有这些措施，攻击者可以轻松绕过模型的安全防线，直接对模型进行攻击。裸模型的直接暴露使其成为攻击者的理想目标。

模型参数完全暴露

端侧设备上的大模型通常是裸模型，没有经过复杂的保护机制，因此模型的所有参数和结构很容易被攻击者获取。参数的相对透明，使得攻击者具备更多的背景知识发动白盒攻击。由于大模型的复杂性较高，攻击者可以通过对这些参数的反向工程来还原模型结构，并根据这些信息设计更精确的攻击。

3、全生命周期治理

在享受端侧大模型智能、便利价值的同时，如何应对其落地应用过程中的风险挑战，君同未来贯彻“人工智能生态治理”思路，聚焦端侧大模型从设计、研发、训练、测试，到部署、使用、维护等的全生命周期的风险治理：

研发阶段：重点关注端侧数据质量问题导致的模型幻觉；

训练阶段：着重解决算法偏见，避免模型输出带有歧视性结果；

应用阶段：重点防范外部对抗样本引发的错误预测和隐私泄露。

君同未来拥有一支专业、高效的算法队伍，在应对端侧大模型风险挑战方面积累了丰富的治理经验，通过落地丰富的人工智能生态治理案例，助力汽车制造商、智能家居、手机等行业客户显著提升产品的智能化水平与服务质量。

未来，君同将积极与各方共同探讨端侧大模型的发展方向，持续探索与实践，努力推动技术创新与应用场景深化，提升硬件性能、强化个性化服务能力，为端侧智能业务的健康发展提供强有力支持；同时，深耕算法，以创新技术深化人工智能领域生态治理，助力人类基础脑力劳动的可信替代，为人工智能领域的创新发展创造可信价值。

了解更多：

定义：端侧大模型，通常指运行在终端设备（如智能手机、平板、PC、智能穿戴设备、自动驾驶及具身智能等）的大型预训练模型。这些模型通常部署在本地设备上，较之传统的云端大模型，其参数量更小，可在设备端直接使用算力进行运行，无需依赖云端算力。端侧大模型的核心技术特点在于轻量化，但因其需要在资源有限的设备上高效运行，就对模型压缩、推理加速及能耗优化提出了更高的要求。

规模：根据《2024年中国端侧大模型行业研究报告》，下游市场需求的强劲增长，特别是手机与自动驾驶行业的蓬勃发展，正强力拉动端侧大模型市场的扩张，2023年中国端侧大模型市场规模达8亿元，预计2024年中国端侧大模型市场将达到21亿元。