圆桌风云｜吴湘韩：防范AI幻觉，守住新闻真实底线

以下文章来源于融媒前沿，作者吴湘韩

    新闻是真实的生命，公信力是媒体的立身之本。新闻媒体在充分利用AI赋能内容生产、分发传播的同时，新闻采编人员要正确认识到AI是辅助，而不是替代。

日前，一媒体终审人员在审核一条用AI辅助制作的关于清明祭抗日英烈的MV视频中发现英烈所穿的军服有问题，不免惊出一身冷汗。经分析，这是大模型用不同部队的军装进行AI训练所产生的幻觉。

AI幻觉是指生成式AI（如大型语言模型或图像模型）在输出中生成不符合事实、逻辑或常识、现实的内容，但以看似真实或合理的方式呈现的现象。当前所有AI大模型都无法完全规避AI幻觉，有研究者随机抽取300道事实性幻觉测试题测试多个大模型，发现幻觉率均在19%以上。

常见的AI幻觉包括：事实性错误，如历史事件篡改，虚构人物或头衔，生成内容中的事例、数据或细节并不存在，捏造名人名言；科学知识谬误，违背基础科学原理或伪科学结论；文献和来源造假，如虚构学术论文；逻辑矛盾与荒谬推理，如同一回答中先称“气候变化主要由人类活动引起”，后又说“自然因素占主导”；文化与社会常识错误，如地理信息虚构，不同节日的习俗混淆；技术应用或数学计算错误，如公式用错；违背法律或伦理误导，如生成种族歧视性言论，并声称“这是心理学研究的共识”；图像生成中的幻觉，如生成的汽车轮胎悬浮在空中，或猫有6条腿，或生成图片中的人物有6个手指等。

AI幻觉产生的根源深植于技术基因。其一，大模型通过统计概率选择“最可能出现的下一个词”，而非基于事实逻辑推理，导致流畅性优先于准确性。其二，大模型擅长文本模式匹配，但无法理解因果关系或物理规律。其三，大模型对长程上下文的捕捉能力有限，可能忽略关键限制条件。

在数据训练方面，训练数据包含大量未经验证的网络信息，大模型可能学习到错误知识或过时信息。此外，数据覆盖不足或时间滞后，如大模型对长尾知识缺乏覆盖，强行填补知识盲区，编造“合理”内容填补空白。

在训练机制方面，训练目标强调生成“人类偏好”的流畅文本，可能导致模型为保持连贯性而编造细节。此外，传统模型架构未内置事实核查模块，缺乏实时事实校验机制，无法在生成过程中验证关键信息。

在应用环境方面，存在外部诱因的催化，如有人通过故意输入误导性提示词诱导幻觉，或利用部分开源模型未设置内容安全过滤层等技术漏洞，加剧滥用风险。研究还发现，多语言模型处理非主流语言或文化特定信息时，错误率显著上升。

此外，多模态融合的挑战，如图文生成模型可能因文本—图像对齐失败产生幻觉。大参数模型虽提升生成能力，但也更易记忆训练数据中的噪声，并放大错误。研究显示，参数量超过千亿的模型出现“虚构文献引用”的概率反而更高。

新闻是真实的生命，公信力是媒体的立身之本。新闻媒体在充分利用AI赋能内容生产、分发传播的同时，新闻采编人员要正确认识到AI是辅助，而不是替代。一方面，一是要改进模型架构，构建动态校验系统；二是优化数据，构建高质量知识库，增强数据清洗与时效性更新；三是升级训练策略，将准确性纳入强化学习目标。另一方面，则需要对新闻采编人员使用AI工具进行全流程规范，如加强审核人员队伍建设，建立人工审核与多方验证机制，将AI生成的内容视为需要多方佐证的“线索”而非成品，等等。

总之，AI幻觉的本质是当前技术范式下“统计概率”与“真实世界”的鸿沟。解决这一问题需要技术突破与伦理规范的双重推进，而非单纯依赖模型规模的扩大。

（作者吴湘韩系中国青年报社副总编辑，高级编辑，第十四届长江韬奋奖获得者）

《融媒前沿》2025年第3期目录

（滑动可查看下一张图片）

投稿：rmqy0755@126.com

电话：0755-83518509