2024 AI大趋势：“大模型”进入“小时代”？

日前，针对大模型AI技术发展趋势，腾讯研究院、同济大学等多方共同发布了《人机共生——大模型时代的AI十大趋势观察》报告，从技术、应用、社会等角度，提出大模型时代的趋势观察。

趋势1：LLM推动AI快速进化到AGI（通用AI）阶段。21世纪10年代初深度学习的问世，推动AI进入发展高峰期。而2017年Transformer算法将深度学习推向了大模型时代。OpenAI基于Transformer的Decoder部分建立起GPT家族。ChatGPT一经面世便风靡全球，人们惊讶于其能够进行连贯、有深度对话的同时，也惊异地发现它具有推理、思维链等体现智能的能力。GPT-4的能力更是进化神速，在多种能力测试中达到人类顶级水平，让人类看到了AGI的曙光。

趋势2：多模态助力大模型解决复杂问题。多模态AI是指能够处理和理解多种类型信息的AI，如文本、图像、音频、视频等。这种AI不仅能够处理单一数据类型的任务，而且可以在不同数据类型间建立联系并融合，从而实现一个综合且全面的多模态。AI能够对各种不同类型的数据进行关联分析，为解决复杂问题提供支持。未来在诸多创新领域，多模态技术的发展将带来创新应用的蓝海。

趋势3：生成式AI带来更贴近人的交互方式。从使用键盘、鼠标等方式跟电脑交互，到使用手指滑动屏幕跟手机交互，再到人们用唤醒词跟智能音箱等交互，人机交互从识别机器指令到识别人的动作、语音，不断朝着更贴近人的习惯的交互方式演进。生成式AI的发展让人类有史以来第一次有机会用自然语言的方式跟机器对话，而机器也借由大模型拥有了极强的理解人类语言的能力，这有望带来一场全新的交互变革。正如历次交互变革带来从终端到连接再到各类应用的颠覆式变革一样，生成式AI也必将带来产业链、价值链和生态链的重塑。

趋势4：模型即服务（MaaS）生态呼之欲出。大模型促进了AI的工业化，即大模型为AI标准化、模块化、自动化提供了实现路径，并重构现有的商业模式，未来将形成模型即服务的MaaS生态。未来的数字化商业将分为大模型基础设施型企业、垂直行业领域的小模型应用企业以及更加贴合个人用户的模型应用和服务。这一生态的建立和发展将更广泛地赋能各行业应用，加快社会各领域数字化转型及智能化发展，促进全社会生产效率提升。

趋势5：垂直领域应用是大模型的主战场。随着生成式AI技术的飞速发展，它已在多个领域催生出全新的商业价值。尽管这些模型处于扩展的早期阶段，但我们已经开始看到第一批跨功能的应用程序在金融、零售、政府、制造、物流、地产、教育等多个行业，以及财务、HR、客服等应用场景展现出极为出色的能力。各行各业都将迅速整合大模型的能力创造全新的商业价值。与其他颠覆性技术一样，这种变革一开始会缓慢发展，然后迅速加速。

趋势6：Plugin工具让大模型迎来“App Store时刻”。通过将大模型与第三方API连接，Plugin工具赋能大模型搜索实时的信息，还能够执行复杂计算、协助用户进行操作等更加广泛的任务，极大地丰富了大模型功能和应用场景。Plugin的嵌入使得大语言模型成为AI时代的App Store，带来了新的流量入口，并改变了用户交互以及程序开发的方式。未来，随着插件生态的繁荣和功能的丰富，嵌入Plugin的大模型将创造更多的可能性。

趋势7：大模型为数字人“注入灵魂”。生成式AI所展现出来的高灵活度以及强交互性让人们对AI技术有了全新的认知。这种全新的AI技术让数字人更像真实的人，能够更充分地挖掘和梳理信息、知识，且更贴近人类日常交流和表达习惯的处理语句。数字人将不再仅仅局限于主播、客服等角色。数字人将成为个人分身“Avatar”，输出文字、图像、音视频乃至情感表达。未来构建数字内容的过程中，数字人将广泛应用于各种场合，提高工作效率并降低成本。

趋势8：AI大模型将帮助个体成为超级生产者。基于LLMs服务或者训练Transformer模型的新应用快速进化，涌现出许多新型面向个体的生产力应用。在创意制作、文本生成、图像和视频工具、学习工具、阅读工具、市场分析、编程等各个领域快速融入工作流，从信息处理、个性化学习、辅助创作、智能优化等方面协助人类创作，赋能个体成为超级生产者。在大模型的加持下，AI正在从“工具”变成“伙伴”，人机关系将进入下一阶段。

趋势9：版权“思想表达二分法”基石正在动摇。从AI生成内容本身的艺术性来看，已经足以媲美甚至在一定程度上超过了人类的表达水平。但值得关注的是，传统的版权制度立足于“思想表达二分法”这一基本原则，即“只保护自然人思想的表达，而不保护自然人的思想本身”。而在渐行渐近的AI时代，版权制度如若无法对最为宝贵的人的创造性思想以及“最为普遍的AI模型的独创性表达”加以有效回应，那么其实用价值将受到极大影响。

趋势10：伦理和安全建设塑造负责任的AI生态。大语言模型等生成式AI的进展，在让人们看到AGI曙光的同时，也带来更加复杂难控的风险，包括对人类未来生存的潜在风险等。AI时代需要成为一个负责任的时代，而非另一个“快速行动、打破陈规”的时代。人们需要建立合理审慎的AI伦理和治理框架，塑造负责任的AI生态，打造人机和谐共生的未来。生成式AI领域的创新主体则需要积极探索技术上和管理上的安全保障措施，为生成式AI的健康发展和安全可控应用构筑起防护栏。

从以上趋势来看，出于成本和实用性的考虑，小模型在某些特定任务上，成本更低，效率更高，数据安全性更高，比大模型更有优势。

当前，人工智能领域正在尝试开发更小型、成本更低的AI模型，这可能会使AI技术更加普及和易于使用。

有人工智能专家预测，预计到2024年，小型语言模型将在特定任务部署AI的公司中发挥更大的作用。

OpenAI CEO、人工智能界当之无愧的先行者Sam Altman也承认：

“大模型”时代可能走向结束，未来我们会通过其他方式来改进它们。”

大模型的局限性

当前大模型在成本和计算需求方面有局限性。

过去五年来，AI领域通常以参数的数量来衡量一个模型的能力。参数越多，通常意味着模型能处理更复杂的任务，展示出更强的能力。

例如，最大模型的参数数量每年增加了十倍或更多，每次增加都带来了意想不到的能力扩展，如编程和翻译能力。所以大型神经网络模型通常被认为性能更优。

有观点指出：

“以参数数量作为能力或风险的衡量标准过于粗糙，我们应更关注模型的实际使用方式。”

这些大模型使用的参数数量极多（有的超过1000亿个），每个参数都需要计算资源来处理。尽管大模型（如GPT系列）在技术上领先，但这些模型往往规模庞大且对计算资源的需求极高。每当大模型在能力上有显著提升时，它们的训练和运行成本也急剧上升。即便这些模型是开源的，许多研究者和小型企业也难以承担其所需的昂贵计算成本。

不仅如此，许多AI研究者在这些模型的基础上进行迭代开发，以创造适用于新工具和产品的自己的模型，但大模型的复杂性也让其变得困难。

监管对大模型也有所担忧，并且对大型LLM的监管趋于严格。例如，美国政府在去年10月底发布的一项行政命令要求对制造“双用途”基础模型的公司，如那些拥有“数十亿参数”的模型，实施更高透明度要求。

小模型的优势

在某些特定任务上，小型、高效的AI模型可能比大模型更适用。

正如专注于人工智能和机器学习的技术公司Snorkel的Matt Casey写道：

“在某些任务上使用大模型就像是“用超级计算机玩《青蛙过河》。”

虽然大模型在处理复杂任务上有优势，但并不是每个任务都需要这样强大的计算能力。

小语言模型的优势数不胜数。

更低的资源需求。小模型通常需要更少的计算资源来训练和运行，这使得它们更适合在计算能力有限的设备上使用，例如，小模型可以直接安装在用户的电脑或智能手机上，这样就不需要与远程数据中心连接。

更低的成本。小模型在训练和部署时需要的计算资源较少，这直接导致了较低的运行和维护成本。

更好的隐私保护。小模型可以在本地设备上运行，而无需将数据发送到云端服务器，这有助于提高数据处理的隐私性。有助于提高数据安全性。

更快的处理速度。由于参数较少，小模型在处理请求时的响应时间通常更短，这对于需要实时反应的应用尤其重要。

研究人员正在努力开发出更小、更高效的AI模型，缩减它们的参数数量，同时保证它们在特定任务上能够达到甚至超越大模型的表现。

一种方法是“知识蒸馏技术”，与传统的预训练不同，“蒸馏技术”的意思是使用一个大型的“教师”模型来指导一个小型的“学生”模型的训练。用“蒸馏”方式训练小模型，不再直接从训练大模型时会用到的那些巨量数据中学习，而只是在模仿。就像一个学生不会学到老师的全部知识库，但在针对性的领域，ta可以获得和教师差不多水平的考试表现。

Carnegie Mellon大学的计算机科学教授Graham Neubig说：

“通常情况下，你可以创建一个小得多的专门模型来处理特定任务。这种小模型虽然不具备大模型的广泛适用性，但在特定任务上可以表现得非常出色。”

Neubig教授和他的合作者在一个实验中开发了一个比GPT模型小700倍的模型，并发现它在三项自然语言处理任务上的表现超过了大型GPT模型。

小模型表现出色的例子有很多。

例如，微软(374.58, 1.04, 0.28%)的研究人员最近也发报告称，他们能够将GPT模型缩减成一个参数仅略超10亿的小模型。这个小模型能够在某些特定任务上与大模型相媲美。

再者，今年7月，Meta的开源Llama 2，推出了三个版本，参数范围从7亿到70亿不等。还有，为金融应用设计的BloombergGPT只有50亿参数。尽管这些模型的参数数量相对较少，但它们在多项任务上的表现都优于类似模型，显示了小模型的潜力。

国内一家在创业阶段的人工智能硬件公司，研发基于小模型的“会议耳机”品类，服务于在线会议和纪要、摘录功能的智能硬件就是他口中提到的“垂直应用领域”。

消费者端，经过一段时间的打磨，初代会议耳机依靠简单的文字速记、语音转译功能开始受到金融圈、媒体等需要高频交流且有实时记录需求群体的关注。而在新一代产品上，则增加了生成式会议助理、同传听译、待办跟进等功能。

其中，生成式会议助理可以根据通话内容自动提取出待办事项，这就需要利用到AIGC（人工智能生成内容）技术，这就与目前主流的大模型人工智能产生了交集，该行业目前也处于极速膨胀的状态，几乎所有科技公司对大模型的趋之若鹜，甚至要花费巨量资金、人力以构建自身的独有大模型。

对于未来人工智能的整体发展方向，不需要大模型那么大的参数量 也能够满足绝大多数会议纪要生成、日程提取的需要，同时由于训练数据更加适合专业场景，有限规模的‘小模型’反而效率更高。

“大模型对于行业来说无疑是一场革命，但它并不是万能钥匙，我认为在很多垂直领域，很多企业应该更多地建立自己能够负担起的‘小模型’，通过具备学习能力的AI加速小体量应用场景的体验更新。”未来智能CEO马啸告诉钛媒体App。

小型语言模型的局限性

然而，这些优势通常是以牺牲一定的性能为代价的。一些研究显示，但小型“学生”模型可能只在一定范围内的任务上表现出色。大型“教师”模型由于其庞大的参数数量和复杂的结构，通常在理解和生成语言方面更为精准和强大。因此，在更广泛或复杂的任务上，选择小模型还是大模型取决于特定应用的需求和限制。

人工智能公司Cohere的非营利人工智能研究实验室Cohere for AI的负责人Sara Hooker说道：

“小模型在处理广泛或罕见任务时的能力仍有限。”

“还有很多未知的领域，我们如何确保从大模型中获得的数据足够多样化，以覆盖所有这些任务？”

“蒸馏”技术在某种程度上是法律灰色地带。比如通过蒸馏技术（一种将大型AI模型的知识转移到更小模型的过程），小模型可能在功能上与大模型类似或者能够执行相似的任务。然而，“竞争”的具体定义可能不够明确，这导致了法律上的不确定性。

END