老婆问我什么是预训练与微调

一个普通的晚饭后

昨天吃完晚饭，老婆刷着手机突然抬头问我："老公，你们做AI的天天说什么预训练、微调，到底是个啥？我看新闻天天提，但一个字也看不懂。"

我当时正瘫在沙发上消化晚饭，听到这话，愣了一下。说实话，这问题要是用术语解释，三句话就能说清楚。但问题是，我老婆是个文科生，上次我给她讲什么是"神经网络"，讲了半小时，她就记住了一句话："哦，就是仿生学呗。"

所以这次我学聪明了，决定换个套路。

我坐起来，喝了口水，说："这么说吧，你还记得咱们当初是怎么培养小李的吗？"

小李是我老婆公司的一个新员工，她带了整整半年。

老婆一听这个，来了兴趣："小李怎么了？"

"你想想，小李刚入职的时候，你是怎么教她的？"

不是直接就上手干活的

老婆想了想说："刚开始肯定不能让她直接干活啊，她啥也不懂。"

"那你怎么办的？"

"先让她熟悉公司情况呗，认认同事，了解一下我们部门是干什么的，平时工作流程是什么样的。这些基础的东西她得先知道，要不然后面没法开展工作。"

"然后呢？"

"然后，等她基本搞清楚这些了，我再根据她具体负责的工作，手把手教她。比如她负责的是客户对接，那我就重点教她怎么跟客户沟通，怎么处理客诉，那些通用的东西就不用再花时间了。"

我一拍大腿："这不就是预训练和微调吗！"

老婆一脸问号："啥？"

预训练：先让你变成一个"通才"

我开始给她细细掰扯。

"你看哈，小李刚入职的时候，你没有直接告诉她怎么对接客户，而是先让她了解公司整体情况、基本流程、行业常识。对不对？"

"对啊，这不是应该的嘛。"

"这个阶段，就相当于是'预训练'。"

我怕她不理解，又补了一句："你可以理解成，预训练就是让一个人（或者一个AI）先学一大堆通用的、基础的东西，让它先变成一个'什么都知道一点'的通才。"

老婆若有所思："那这些通用的东西具体是什么？"

"对于AI来说，就是让它读海量的文章、书籍、网页。它不是要记住这些内容，而是要通过阅读这些东西，学会人类语言的规律——什么词经常跟什么词一起出现，句子是怎么组织的，什么样的表达是通顺的，什么样的是别扭的。"

我打了个比方："就好比你让小李先在公司各个部门轮岗一圈，见识见识各种业务。她不需要每个岗位都精通，但得心里有个数，知道公司是怎么运转的。"

老婆点点头："那然后呢？"

为什么不能直接学专业的东西？

"等等，"老婆突然打断我，"我有个问题。为什么不能直接教小李怎么对接客户呢？干嘛还要浪费时间搞什么轮岗？"

这问题问得好，正中下怀。

"你觉得呢？"我反问她。

老婆想了想："如果她连公司是做什么的都不知道，连基本的工作流程都不清楚，她去对接客户的时候，客户问一句'你们公司这个业务是怎么收费的'，她都答不上来。"

"对喽！"我说，"这就是预训练的价值所在。有了通用知识打底，后面学专业技能才能事半功倍。"

我接着举例："你再想想咱们上学的时候。小学、初中、高中这12年，学的都是什么？"

"语文数学英语物理化学……"

"对，这些都是通识教育。你当时学物理的时候，也不知道以后能用在哪。但正是因为有了这些基础，你上大学学新闻传播的时候，才能看懂论文，才能写出通顺的文章，才能有基本的逻辑思维能力。"

"哦——"老婆恍然大悟的表情，"所以预训练就是'通识教育'？"

"差不多就是这个意思。"

【配图位置2】

微调：术业有专攻

"那微调又是啥？"老婆追问。

"预训练结束后，AI就变成了一个通才。它什么都知道一点，但什么都不精通。就像一个博士毕业生，读了20年书，知识面很广，但你让他去法院当律师，他还是不会。"

老婆笑了："那不是废柴嘛。"

"哈哈，不能这么说。这时候就需要'微调'了。"

"微调就是根据你想让AI干的具体工作，再喂给它一批专业的数据，让它学习这个领域的知识和技能。"

我回到小李的例子："小李轮岗结束后，你开始教她客户对接的工作。这时候你教的东西就很具体了——怎么写邮件、怎么打电话、客户有异议怎么处理、什么情况下要升级给领导。对不对？"

"对。"

"这个阶段，就是微调。你不需要从头教她认字、教她怎么用电脑，那些她早就会了。你只需要在她已有的基础上，教她这个特定岗位需要的技能。"

老婆听到这里，好像真的搞明白了："所以预训练是打地基，微调是盖房子？"

我想了想："嗯，也可以这么理解。或者说，预训练是让你成为一个有常识的正常人，微调是让你成为某个领域的专业人士。"

这招妙在哪里？

老婆又喝了口酸奶，问："那这么搞有什么好处呢？直接从零开始培养一个专业AI不行吗？"

这是个好问题。

"当然可以，但成本太高了。"我解释道，"你想想，如果每培养一个新人，都要从小学开始教起，语文数学英语物理化学全部教一遍，那得多久？"

"那得教到猴年马月。"

"就是这个道理。预训练这事儿，干一次就够了。搞一个超大的通用模型，让它把人类的知识都学个大概。然后不管你是要做法律AI、医疗AI还是客服AI，都可以在这个基础上微调。"

我给她打了个更接地气的比方："就好比汽车厂商生产汽车。他们不会为了生产出租车就从头设计一款车，为了生产警车又从头设计一款车。他们是先生产一个通用的车架和发动机，然后在这个基础上改装——加个计价器就是出租车，装上警灯警笛就是警车，喷成绿色装个垃圾斗就是环卫车。"

老婆频频点头："这样确实省事儿。"

"省的不只是事儿，还有钱。"我说，"预训练一个大模型需要的算力，那可是天文数字。但这个成本可以平摊到无数个微调模型上。各行各业想要一个自己的专业AI，只需要准备自己领域的数据，花小成本微调一下就行。"

生活中其实到处都是这个套路

聊到这里，老婆突然来了灵感："我好像想到了几个类似的例子。"

"你说说看？"

"学开车！"她眼睛亮了，"你想啊，驾校教练教开车的时候，先教的都是通用的东西：怎么打方向盘、怎么踩油门刹车、怎么看后视镜、交通规则是什么。这些不管你以后开轿车、开SUV还是开货车，都是一样的。"

"然后呢？"

"然后你拿到驾照了，你买了一辆具体的车，比如大众朗逸。这时候你得熟悉这辆车的特点——挡位在哪、各种按钮是干嘛的、倒车影像怎么看。这不就是微调嘛！"

我竖起大拇指："悟了悟了！"

老婆越说越来劲："还有做菜！学厨师的人，肯定是先学通用的刀工、火候控制、调味基本功。有了这些基础，再学具体的菜系就快多了。同样是会颠勺的人，学川菜就往麻辣方向调整，学粤菜就往清淡方向调整。底子是一样的，后面学什么都快。"

"完全正确。"

老婆还意犹未尽："对了，学语言也是！你看咱们学英语，先学的是基础语法、常用词汇、发音规则。但如果你以后要搞学术，就得学术语；要做外贸，就得学商务英语；要当翻译，就得学同传技巧。基础阶段大家都一样，后面专业方向各走各的。"

换个高级点的说法：迁移学习

"老婆你真聪明，"我由衷地夸道，"你刚才说的这些，其实在AI领域有个专门的名词，叫'迁移学习'。"

"迁移学习？"

"对，就是把在一个任务上学到的知识，迁移到另一个任务上。因为很多知识是通用的，可以复用，所以不用每次都从零开始。"

我想了想，又给她举了个例子："你学会了骑自行车，再学骑电动车就很快。因为平衡感、对车把的控制这些底层能力是通用的，可以直接迁移过来。你学会了用微信，再用其他聊天软件也很快上手，因为'发消息''加好友''发朋友圈'这些基本概念你已经懂了。"

老婆恍然大悟："原来AI也在'抄作业'啊，把之前学的东西拿来复用。"

"没错，这就是人工智能领域一个非常重要的思想。与其每次从零开始训练一个模型，不如先训练一个万能的基础模型，再根据具体需求进行调整。这样既省时间，又省算力，还能取得更好的效果。"

打个不太恰当但很好理解的比方

聊到这里，我想到一个可能更容易让人记住的比方。

"你知道为什么现在的大模型都叫'大'模型吗？"

老婆摇头。

"因为预训练阶段要喂给它的数据量特别大，它学习的知识特别广，所以模型参数也特别多。这就像培养一个博士生，从幼儿园开始一路培养到博士毕业，你投入的教育资源是巨大的。"

"但是，"我话锋一转，"一旦你有了这么一个博士生，你让他转型去做任何工作都比较快。让他去当律师，他读两年法律书就能上手。让他去当医生，他学三年医学知识就能出师。因为他的学习能力、思维能力、知识储备都已经打好底子了。"

老婆点点头："这我懂，我们公司确实是名校毕业的人上手快一些。"

"所以预训练就是培养一个博士生，微调就是让这个博士生转型到具体岗位。两个阶段缺一不可——没有预训练，底子不行；没有微调，不够专业。"

那现在的ChatGPT是怎么回事？

老婆最后又问了一个问题："那我平时用的ChatGPT，它是怎么个情况？"

"ChatGPT背后的大模型，首先经过了预训练，读了互联网上海量的文本，学会了人类语言的基本规律，积累了大量的知识。然后，OpenAI又对它进行了'微调'，主要是教它怎么跟人类对话、怎么听从指令、怎么给出有帮助的回答、怎么拒绝不良请求。"

"所以它变聪明了？"

"可以这么说。预训练让它有了知识，微调让它学会了如何好好说话、好好办事。就像一个人，肚子里有货是一回事，能不能清晰表达、能不能帮到别人是另一回事。微调就是在教它做一个'有用的、友好的助手'。"

老婆若有所思："那是不是可以继续微调，让它变成别的角色？比如微调成一个法律顾问？"

"完全可以！这正是微调的魅力所在。同一个底座模型，喂给它法律文书，它就能变成法律助手；喂给它医学论文，它就能变成医疗顾问；喂给它你们公司的客服对话记录，它就能变成你们公司专属的客服机器人。"

老婆听完，长舒一口气："行，我好像大概理解了。预训练就是读万卷书，微调就是干一行专一行。两步都很重要，少了哪个都不行。"

我笑了笑："孺子可教也。"

最后总结一下

说到底，"预训练+微调"这个套路，其实一点都不神秘。它就是我们人类社会早就在用的培养方法：先通识后专业，先打基础后深耕。

只不过在AI领域，这个思想被系统化、规模化了。预训练用超大规模的数据培养出一个"通才模型"，微调再根据具体需求把它打造成各行各业的"专才模型"。

你在生活中其实早就熟悉这个套路了——

学校教育是这样的，先学通识后选专业；

职场培训是这样的，先入职培训后上岗实操；

学开车是这样的，先学规则后熟悉具体车型；

学做饭是这样的，先练基本功后学具体菜系。

AI不过是把这套朴素的道理，用技术手段实现了一遍而已。

所以下次再有人跟你聊什么"大模型预训练"、"下游任务微调"，你就淡定地告诉他：这不就是"先学走路再学跑步"嘛，有什么好神秘的。

老婆听完，满意地点点头，继续低头刷起了手机。

我又瘫回沙发，感觉今天的知识传播任务圆满完成。