大模型时代，普通人的科研何去何从：读《一本书读懂AIGC》有感

最近，电子工业出版社送了我一本书：「《一本书读懂AIGC：ChatGPT、AI绘画、智能文明与生产力变革》」。不禁感叹：现在连写书都这么卷了！要知道，ChatGPT 于去年11月30日刚刚发布、距今仅4月有余。今日恰逢世界读书日，故写些读后感。

借用《百年孤独》的开头，我想写这样的句子：

❝ 许多年后，面对AI对人类的全面奴役，曾经的AI科研工作者将会想起他们第一次登录ChatGPT的那个遥远的下午。 ❞

也曾无数次想借用电影“终结者”的故事：

❝ 回到过去，回到2022年11月29日，将保存有ChatGPT模型参数的服务器引爆，于是得以继续之前的科研和生活。 ❞

何为AIGC？

「AIGC」 是英文 「AI-generated content」 的缩写，翻译成中文可以叫作“人工智能内容生成”，或者叫“AI内容生成”。通俗地讲，即是计算机自动生成一些人想要的内容，如图片、视频、音频、文本、网页、代码等。

由此不难看出，AIGC可以辅助用户做很多之前做不到的事情、提高工作效率（对应着更多人下岗）：AI绘画，可以以极快的速度生成插画（取代部分插画师和设计师）；AI代码生成，可以提高程序员的工作效率（取代部分低端程序员：自己写代码训练AI最后把自己给取代了）；AI聊天+文字生成，可以取代部分线上客服、低端文秘、新闻报道、文案写作策划、活动布置等很多需要与文字打交道的岗位……

而ChatGPT则是其中“最靓的仔”：其在发布后2个月之内就在全球范围内收获了1亿用户，是历史上用户增长最快的产品。我们在此无需对其火爆程度进行过多介绍。而在今年3月12日，其升级版、GPT-4也正式发布了。

放眼2023年，所有人、特别是AI科研人，都经历了从未有过的连续震撼，几乎每天醒来都有一个大新闻：

内容出处：https://mp.weixin.qq.com/s/Wn7HzqfkDbRuFb-HCegitg

《庄子-养生主》里写道：“吾生也有涯、而知也无涯。以有涯随无涯，殆而已矣！”

AIGC对AI科研人的影响和颠覆

而上述的震撼显然只是个前菜：震撼过后便是更大、更直接的影响。原因其实说来也简单：「疗效好呗」。

高校和研究所

此时的你，如果是个AI方向的「高校教师或研究员」，那么你可能发现，一夜之间大部分的教师群、项目群、学术群都在讨论所谓的「大模型」；更悲惨的是：

• 你发现学生在质疑自己的研究方向：老师，这个方向还有什么意义？ChatGPT做的这么好了，我们打不过它的。
• 你打不过、想加入，但是发现你没钱买显卡：是的，一块计算显卡A100的售价在10万人民币左右，而自然语言处理大模型动辄需要几块、几十块的卡来开发和试错。试问有多少高校教师可以负担得起？
• 你想申请国家项目来买显卡：申请过项目的都懂，哪里会允许你用几百万来买显卡？噢，不好意思，青年基金只有30万、面上基金也就几十万……
• 你跟学生说，没有卡我们就做后处理、做fine-tune、做prompt tuning。但是你发现：其实这些操作也是要卡的，普通教师还是买不起。
• 你想躺平了、让学生还是沿着之前的方向水文章：学生说，老师，审稿人问我们说我们这个方法能不能用在大模型上、如果用不上去的话有啥意义？我之后怎么找工作？
• 你想站出来反对大模型、要找它的漏洞，却发现：好的东西都是不开源的；你仅能从人家的输出结果上进行分析、并且人家的模型在快速迭代、可能今天有的问题、明天就莫名其妙被修复了……

工业界

此时的你，如果是个「工业界的研究员」、像笔者一样的大头兵，你同样发现：一夜之间，昨天刚和老板说要做的事情突然变得不再重要：

• 你：我要做更简单更基础的学习理论，对现有的学习范式进行颠覆。
• 老板：能用在大模型上吗？
• 你：我觉得self-attention的鲁棒性需要研究一下，它对对抗攻击也没那么鲁棒，只是比CNN好点。
• 老板：能用在大模型上吗？
• 你：我最近搞了个厉害的解耦算法，简单有效。
• 老板：大模型时代还需要做解耦吗？
• 你：我想再探索一下图神经网络做蛋白质分子结构预测。
• 老板：大模型能做吗？
• 你：Causality还是挺重要的，你看Bengio都一直在研究。
• 老板：大模型还需要causality吗？
• 你：那我看看大模型？
• 老板：这是个不错的方向。
• 你：那我需要64张A100来fine-tune一下LLaMA。
• 老板：这个真没有。
• 你：。。。。。。

是挑战、更是普通人的机遇

笔者也是无数普通人中的一员、同样经历了上述关于大模型的”灵魂拷问“。所谓痛定思痛、知耻而后勇，经历过无数失眠的夜、写坏了几支劣质的笔、也摸完了十条无聊的鱼，笔者现在则认为：

「大模型时代虽然是挑战，但更是普通人的机遇。」

那么，大模型时代，普通人如何做科研？

以下仅为个人观点，如不同意，就是你对。

新的分析和评测

大模型时代显然需要新的分析和评测方法。不同于以往以公开测试集为准的机器学习，大模型现在可以将所有的公开数据集全部吃下（即overfit）。因此，不宜采用传统方式进行评测。可以思考：

• 更有难度、更符合人类标准的评测集是什么样的？
• 大模型的边界在哪里、什么样的数据可以测出来？
• 小模型和大模型到底有什么区别、仅仅是benchmark得分不同吗？
• 如何公平地评测不同大模型的能力？
• 到底何为”AGI“?如今的评测是否是AGI评测？

新的理论和方法

大模型对于做理论和基础研究的科研人员是个毁灭性的打击。原因很简单：深度学习理论在目前也无法很好地分析多层神经网络、更不必说更大、更不开源的黑盒大模型了。因此，理论研究人员可能会出现”巧妇难为无米之炊“的情形、不知道自己还能做什么。

但笔者认为，基础理论、数学、统计、概率等基础学科的重要性仍然无需多言，但需要结合大模型进行一些探索和突破。例如：

• 为什么CLIP仅采用image-text pair进行对比学习、泛化能力就很好？
• 如果是训练数据重要，那为何400M数据的CLIP和2B数据的Laion-CLIP在长尾数据上并没差太多？
• 数据、模型、算法、优化，哪个更重要？
• 如何加速大模型的训练，如从数据筛选、优化器更新的角度？

更好的人与AI协同

既然打不过，那索性就加入。我们可以将大模型看作一次大的技术革命、一种新的人机交互方式。那么，此刻的你我就处于这种新的人机交互、人与AI协同的革命前夜，应该多去思考如何利用大模型的能力来做出更多变革：

• 如何提高写Prompt的能力、最好是自动写好的Prompt？
• CV、NLP、Audio都有大模型，如何利用这些模型进行更好的多模态信息融合？
• 如何设计下一代人-AI协同交互的用户界面？
• 如何将大模型快速轻量地部署于端侧设备？
• 如何更轻量地微调大模型以服务于下游小数据领域？

找大模型的短板

不得不说目前的大模型并不完美、其问题多多。笔者也在年初”卷“了一周、搞出了第一个ChatGPT的鲁棒性评测。我们发现大部分大模型其实对于对抗攻击并不鲁棒、其抗干扰能全力亟待提升。因此，一个自然的研究方向便是”找茬“：

• 大模型的OOD能力是不是够了？有大模型不需要OOD了？
• 大模型的长尾是不是做的很好了？这个笔者探索过了：显然不太行—Exploring vision-language models for imbalanced learning.
• 如何使大模型免受prompt injection、prompt leakage等攻击？
• 大模型生成内容如何判别是hallucination还是真的？

更负责任、社会化的AI技术

新的技术革命需要新的社会变革，而变革的过程可能是充满荆棘的。好的研究视野应该放眼全社会、做出更负责任和更社会化的AI研究（Responsible AI, or societal AI），方可确保技术不被滥用、更好地服务人类：

• 如何进行有效的value alignment使AI准确地满足人的价值观？
• 如何对AI生成的内容进行有效监管使其实不被滥用？
• 如何分析生成式AI对教育、生产力、社会、心理学等诸多层面的影响？
• 新技术应该是”有温度“的：如何引导”前人“更加无痛地完成新技术的更迭？

此类问题的每一个都值得深入探讨。值得一提的是，笔者所在的研究组——微软亚洲研究院社会计算组的大部分研究人员均在做相关研究。也期待未来有更多的合作者加入进来一起合作。社会化问题任重而道远，需要跨学科、全社会的长期密切交流合作。

好了，读到这里，你还觉得自己的研究一片灰暗吗？对所有的而言的挑战、只要你快速转变以调整方向，你也可以成为未来的“大佬”。

让我们乘着大模型的东风、继续乘风破浪吧！

01

《一本书读懂AIGC：ChatGPT、AI绘画、智能文明与生产力变革》

a15a 著

贾雪丽，0xAres，张炯 编

（扫码查看本书详情！限时五折）

• AIGC是2023年的热点话题，现在已经有很多成熟的应用，ChatGPT是其中比较典型的应用，由此引发了人们对失业问题的担心
• 本书介绍了AIGC的发展和应用，并且使用了大量的案例，对AIGC是否会让我们失业做出了回应
• 本书作为一本科普书，内容全面，语言通俗易懂，介绍了AIGC在各个领域的应用，可以让你全面了解AIGC，在未来可以更好的工作和生活

02

《一本书读懂ChatGPT》

魏进锋，储兵兵，聂文峰 著

（扫码查看本书详情！限时五折）

• 作者资深：本书作者有阿里巴巴达摩院、小米人工智能实验室等从业经历，拥有10年以上人工智能算法工作经验，在智能对话机器人领域主导过多个知名项目，并培养了众多年轻从业者
• 版本很新：详尽阐释了ChatGPT是如何从GPT、GPT-2、GPT-3发展而来，并进一步演化为GPT-4的；还讲解了自然语言处理范式是怎样从有监督训练到先预训练后精调再到只预训练不精调转变的
• 理论很新：全面阐述了以ChatGPT为代表的大模型出现的“涌现”现象并对其原理进行探讨，包括对涌现现象、思维链现象、上下文学习能力、指令理解、模型记忆原理、错误修正等的讨论

发布：刘恩惠
审核：陈歆懿 

如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连<  PAST · 往期回顾  >
423世界读书日 | 10本爆款新书，带你稳扎稳打，引领未来！

点击阅读原文，查看本书详情！