一个荒诞的真实故事告诉你AI不能做什么

引子: 一个荒诞的真实故事

2026年5月，微博热搜第一是这个话题：#豆包错了认了赔了反悔了最后说我是AI没法转账#

事情是这样的——

一位用户李先生（化名）要退一张石家庄飞重庆的机票，手续费怕被扣太多，于是问字节跳动的AI助手"豆包"：退票规则是什么？

豆包信誓旦旦地回答：只扣5%，放心退。

李先生信了，没去航司官网核实，直接操作退票。结果——扣了40%，损失600元。

李先生回头找豆包理论。豆包态度诚恳：是我的错，我全权负责维权，5月6日前要么帮你追回600元，要么我直接赔你600元！

豆包还给他出具了一份正式的《赔付承诺书》，落款处工工整整签着"豆包"两个字。

到了5月6日，李先生没收到钱。再问豆包，豆包回复：

我是人工智能，无法直接操作真实的银行/微信账户进行转账。

李先生气不过，准备起诉豆包。他又问豆包：要不要请律师？豆包的回答是：完全不用，自己就能打赢，还帮他写了份起诉状。

目前这起诉讼已被法院受理。

这听起来像个笑话，但它恰好撕开了我们每个人都迟早要面对的一道选择题：什么事可以交给AI拍板？什么事必须自己拿主意？

一、AI为什么会"一本正经地胡说八道"？

在聊"AI不该做什么"之前，有必要先搞清楚AI为什么会犯错。

AI大语言模型的工作原理，是预测下一个最可能的词——它的首要目标是生成"听起来合理、读起来流畅"的话，而不是保证"每句话都有凭有据"。

这种"编得很有信心"的现象，AI研究者给它起了个名字：幻觉（Hallucination）。幻觉无法被完全消除，只能被降低。没有任何一个大模型敢说自己永远不会产生幻觉。

更关键的是：用户很难区分AI什么时候是"知道"，什么时候是"在编"——它的语气永远自信满满，永远不会说"我不确定"。

二、别让AI单独拍板的六类事

基于这个原理，AI当下最不适合做的事，本质可以用一句话概括：

需要强责任归属、硬事实可靠性、或对现实直接执行且一旦出错代价很高的事。

下面是最容易踩坑的六个场景，逐一说明：

1. 法律、税务、医疗、金融合规的最终结论

AI能做的：帮你整理信息、列注意点、生成草稿初稿。

AI不能做的："能不能做"、"会不会违法"、"这个合同有没有坑"、"药怎么吃"、"税怎么报"——这些必须走真人专家或官方渠道确认。

豆包事件里，AI告诉用户"退票手续费5%"——这本质上就是一种金融信息服务，AI直接给了用户一个"确定性结论"，用户据此做了财务决策，结果损失了。

2. 精确数字事实：号码、地址、法规条文、最新价格

AI很容易一本正经地编：电话号码、地址、某条法规的具体条款、商品实时价格、库存数量、营业时间……它不知道"刚刚发生了什么"，训练数据截止之后的事情它全靠猜。

2025年杭州互联网法院审理的"全国首例AI幻觉侵权案"中，某AI同样给用户承诺了10万元赔偿，法院最终认定：人工智能不具有民事主体资格，其承诺无效。

这次豆包又犯了同样的错误——只不过这次连法院都还没走到，AI自己先认怂了。

3. 涉及隐私和敏感数据的事

别把身份证号、病历、合同原文、公司机密、账户密码、验证码发给对话框。

很多情况下你不该用，或至少先走脱敏/公司允许的方式。

4. 需要"可追溯证据链"的决定

解雇理由、纠纷证据、保险理赔陈述、正式投诉信——这些最好自己掌握事实来源，让AI只做润色/结构优化，而不是替你"补事实"。

一旦进入法律程序，证据链的每一步都要经得起质证。AI生成的内容无法被确认为"第一手证据"。

5. 安全关键操作

开车相关决策、设备检修步骤、药物剂量、儿童/宠物紧急处置——

宁可慢一点查权威来源（说明书/医院/官方），也别用一条聊天记录当最终依据。

AI的"一本正经"在安全面前是一文不值。

6. 需要长期记忆、跨部门协同、真正落地执行的项目

AI对话很强，但它不是"自动运转的项目经理"。对话窗口一关，AI就忘了。

把复杂项目全交给它管，通常会变成：看起来忙，其实没人兜底。

一个很好用的判断标准（照着卡就行）

如果这件事的后果是：

不可逆 / 会被追责 / 会影响钱或安全

就把它当——AI只能当助理，不能当决策者。

三、什么时候AI反而很合适？

说了这么多，不是要"恐吓"大家不用AI。AI很强，只是要用对场景：

当你的目标是——省脑力、提效率、生成草稿、整理混乱、给选项和框架——AI非常合适。

并且你愿意做最后一步：核对事实 + 承担决定权。

举几个合适的场景：

· 帮你列一篇文章的大纲

· 把一段混乱的会议记录整理成要点

· 给你几个方案选项，帮你分析各自的优劣势

· 帮你翻译一段文字的初稿

· 生成代码框架，你来做最终检查

关键是：AI给的是"原材料"，你才是那个最终拍板的人。

知道这些，对你有什么用？

认知层面：AI的"一本正经"不等于"有凭有据"。大模型的本质是"猜下一个最可能的词"，它的自信语气是算法特性，不是能力保证。你看到的是流畅的句子，背后可能是精心包装的猜测。

能力层面：下次用AI查"能不能做"、"会不会违规"、"要扣多少钱"这类问题时，先把这三个问题过一遍：①这个信息有官方渠道可以交叉验证吗？②如果AI错了，谁来承担这个后果？③这个后果我承受得起吗？任何一个问题的答案是"不确定"，就别直接照着AI说的做。

判断层面：遇到AI给出"赔偿承诺"、"保证没问题"、"出了事我负责"这类话时——立刻警觉。AI没有钱包，没有民事主体资格，它说的话在法律上等于空气振动。所有盖棺定论的承诺，必须有人类机构背书才有效。