腾研专访｜邬贺铨院士：中国大模型发展的优势、挑战及创新路径

随着ChatGPT在全球掀起热潮，一时之间其背后的AI大模型风起云涌。大家想知道，评价大模型水平高低的维度和标准有哪些？

ChatGPT上线让我们看到了在AIGC上的中美差距，那么，当前中国大模型发展状况如何？未来的中国大模型发展又面临哪些机遇与挑战？

当前处在向通用人工智能发展的关键时期，面临各家机构独立研究大模型的发展态势，如何提高算力效率并有效避免低水平重复？

有业界人士担忧AI将毁灭人类，这是否是杞人忧天？我们又该如何防患于未然，实现AI的结果可预期和行为可控？

带着关于AIGC的各种问题，腾讯研究院独家专访了中国工程院院士、我国通信领域权威专家邬贺铨。

【访谈者】

牛福莲  腾讯研究院高级研究员

邬春玲  腾讯研究院高级研究员

王   强   腾讯研究院资深专家

（以下简称T）

中国现有算力总规模相比美国：有差距但不大

T: 有人说中国的大模型开发距离国外有1—2年的差距，您怎么看当前中国大模型的发展状况？

邬贺铨：中国在大模型开发方面起步比美国晚，在ChatGPT出来后，国内不少单位纷纷表示在研发生成式大模型，与美国目前已知仅有微软与谷歌等几个企业在研究大模型相比，我国研制大模型的单位比美国多，但研究主体数量多并不意味中国在大模型上研发水平高。据称国内某一大模型的参数量高达1.75万亿，超过了GPT-4，但尚未看到其应用的报道。虽然已有中国公司声称可推出类似ChatGPT的聊天机器人，但就支持多语种能力方面目前不如ChatGPT，就中文对话能力方面就响应速度而言也还有差距。

我们现在只注意到ChatGPT，它以生成式任务为目标，主要是完成如聊天和写作等语言生成，谷歌公司的BERT模型更注重判断决策，强调如问答和语义关系抽取等语言理解相关的任务，BERT模型的技术也值得我们关注。评价大模型水平应该是多维度的，全面性、合理性、使用便捷性、响应速度、成本、能效等，笼统地说目前我国大模型开发与国外的差距为1—2年的依据还不清楚，现在下这一结论意义也不大。

中国企业在获得中文语料和对中国文化的理解方面比外国企业有天然的优势，中国制造业门类最全，具有面向实体产业训练产业AIGC的有利条件。在算力方面中国已具有较好的基础。据OpenAI报告，训练GPT3 模型所需的算力高达3.64EFlops/天，相当于3—4个鹏城云脑Ⅱ（鹏城云脑Ⅱ为1Eflops，即每秒百亿亿次浮点计算）。按2022年年底的数据，美国占全球算力36%，中国占31%，现有算力总规模与美国相比有差距但不大，而以GPU和NPU为主的智能算力规模中，中国明显高于美国（按2021年年底数据，美国智算规模占全球智算总规模15%，中国占26%），我国不仅是大型互联网企业具有相当规模的算力，国家实验室和一些城市政府支持的实验室也有大规模的算力资源，可以说在训练大模型所需算力支持方面中国也能做到。据了解，鹏城实验室正在设计鹏城云脑Ⅲ，算力达到16EFlops，比GPT-3所用算力高3倍，预计耗资60亿元，将为人工智能训练持续提供强有力的算力支持。

中国AIGC研发：需认清差距 重视挑战 实在创新

T：除了我们在算力方面有较好的基础之外，您认为在中国做大模型还面临哪些挑战？

邬贺铨：仅有算力还是不够的，在以下几方面我们还面临不少挑战：

首先，大模型的基础是深度学习框架，美国的Tensorflow和PyTorch已经深耕深度学习框架生态多年，虽然国内企业也自主开发了深度学习框架，但市场考验还不够，生态还有待打造。

其次，将AIGC扩展到产业应用可能需要不止一个大模型，如何将多个大模型高效地整合，有标准化和数据融合的挑战。

第三，大模型需要海量数据训练，中国有数千年的文明，但丰富的文化沉淀绝大多数并未数字化，中文在ChatGPT训练所用到的语料中还不到0.1%。虽然我国互联网企业拥有大量电商、社交、搜索等网络数据，但各自的数据类型不够全面，网上知识的可信性又缺乏严格保证，中文可供训练的语料还需要做大量的挖掘工作。

第四，大模型训练所依赖的GPU芯片以英伟达公司的A100芯片为代表，但该芯片已被美国限制向中国出口，国产GPU的性能还有待进一步考验，目前在算力的利用效率上还有差距。

第五，在中国从事AI研究的技术人员不算少，但具有架构设计能力和AIGC数据训练提示师水平的人才仍然短缺。在ChatGPT出现之前，有人认为中国在AI方面的论文与专利数与美国不相上下，ChatGPT的上线使我们看到了在AIGC上中美的差距，现在是需要清楚认识和重视我们面对的挑战，做实实在在的创新，将挑战化为机遇，在新一轮的AI赛道上做出中国的贡献。

建议开放国家算力平台支持各类大模型训练

T: ChatGPT无疑是一个巨大的创新，中国未来应如何鼓励类似这样的创新，应该多做哪些方面的工作？

邬贺铨：人工智能从判别式发展到生成式是里程碑标志的创新，开始进入到走向通用人工智能的赛道。从GPT-3到GPT-4已经从文字输入发展到部分图形输入，即增加了对图形的理解能力，在此基础上向实现一个深度学习架构和通用模型支持多模态数据输入的时间不远了，不过大模型的任务通用化和大模型按需调用的精细化还需要更大的投入与创新，对图形和视频做数据无标注和无监督学习比语言和文字输入情况要难得多。

现在处于向通用人工智能发展的关键时期，对我国来说这是跨越发展的难得机遇也是严峻的挑战。算力、模型、数据是ChatGPT成功的必要条件也将是通用人工智能成功的在因素，除此之外，创新的生态、机制与人才更是关键。中国在算力总规模上可与美国相比，但跨数据中心的算力协同还面临体制机制的挑战，不少智算中心算力利用率和效率不高。不少单位各自独立研究大模型，难免低水平重复，建议在国家科技与产业计划的协调下合理分工形成合力。建议开放国家实验室的算力平台支持各类大模型训练，例如鹏城云脑现在对外开放的算力达到总能力3/4，可支持规模与GPT-3相当的两千亿参数的开源中文预训练语言大模型。同时建议组建算力联盟，集中已有高档GPU的算力资源，提供大模型数据训练所需算力。现在以鹏城实验室为主建设的“中国算力网（C2NET）”已接入二十余个大型智算、超算、数据中心，汇聚异构算力达3EFlops，其中自主研发的AI算力超1.8EFlops。另外，聊天机器人的应用只是训练与检验AIGC的一种直观方式，但聊天不是刚需，需要基于大模型开发出各类面向行业应用的模型，尽快使大模型在产业上落地见效，在面向各行各业的应用中培养更多的人才。

大模型行业应用需既懂行业技术又懂AI训练的综合人才

T: 目前我们已经看到了 ChatGPT 在某些领域的应用，比如聊天机器人、文本生成和语音识别等。未来在实体行业和领域，是否会有一些应用机会？大模型在实体行业应用还面临什么样的障碍？

邬贺铨：在现有ChatGPT类聊天机器人基础上经补充相关行业和企业知识的训练，可以在企业承担智能客服工作，代替工人面向客户提供售前与售后服务。在需要软件编程的设计与制造环节，ChatGPT可代替程序员完成编程任务和检验软件的Bug。可以承担设计与生产过程所需文件资料的收集、翻译和整理工作。经过专业的训练，AIGC类大模型可以用于设计EDA软件，例如IC设计用的工具软件。在动漫和游戏企业，基于AIGC类大模型训练的机器人可以按照提示编写剧本、创作游戏脚本并进行编程，完成3D动漫的渲染。

但ChatGPT不是通用模型，很难直接在实体产业的生产制造过程上应用，但可以基于训练ChatGPT的原理，利用行业与企业的知识图谱进行深度训练，有可能开发出企业专用的大模型，完成这一工作的挑战是需要既熟悉企业上传流程和关键环节技术又掌握人工智能大数据训练技术的人才。

从关注结果到关注过程，融合技术与法制主导AIGC推理过程

T: ChatGPT也会出现各种各样的错误，也会带来一些伦理、安全和隐私等方面的问题，未来在应用大模型的时候，如何才能营造一种既包容又兼顾安全和发展的环境？

邬贺铨：生成式AI的出现将社会对人工智能的关注推到一个前所未有的高度，在引发科技界和产业界对AI的研究热潮同时，不少专家担心人工智能将毁灭人类，呼吁停止GPT-5的研究。一些专家的担忧并非杞人忧天，因为目前ChatGPT机器人的思考过程不透明，人类创造出ChatGPT，但目前人类对它的推理过程并不完全掌握，推理结果知其然不知所以然，可解释性不足，不确定、不可知就会出现不可控，存在机器人变态和伦理失范及行为失控的风险。

解决办法不是停止对人工智能的研究，而是对AIGC的研究从关注结果到关注过程，设计和主导其推理过程，做到结果可预期和行为可控。未来对大模型的推广应用需要经有资质的机构做安全可信的评价，经检验该大模型的推理过程是可追溯的。同时需要建立相应的AI治理法规，防止对AIGC训练的误导，追究AIGC训练主体的责任，严惩教唆作恶犯罪行为。通过技术与法制相辅，使得人工智能成为人类真正忠诚的助手。