首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ChatGPT 一统所有 AI 模型入口,四步实现文本分类、图像生成等 24 种复杂任务!

整理 | 屠敏

出品 | CSDN(ID:CSDNnews)

ChatGPT、GPT-3、GPT-4、text-davinci-003......近两年来,大模型层层出不穷,使人眼花缭乱,在不同的场景下,很多研究人员往往不知该作何选择?

为了解决这一难题,微软亚洲研究院和浙江大学的研究团队展开合作,发布了一个大模型协作系统——HuggingGPT,让 ChatGPT 与人工智能社区 HuggingFace 连接起来,将语言作为通用接口,让 LLM 作为控制器,管理行业内现有的所有人工智能模型。

「解决不同领域和模式的复杂人工智能任务是迈向 AGI 的关键一步」,研究团队在最新发布的 HuggingGPT 论文(https://arxiv.org/pdf/2303.17580.pdf)伊始说道。

HuggingGPT 的初衷

在研究团队看来,目前的 LLM 技术可以在语言理解、生成、互动和推理方面具有不错的能力,但是在建立先进的 AI 系统道路上仍然有一些紧迫的挑战:

限于文本生成的输入和输出形式,尽管 LLM 在 NLP 任务中表现显著,但是仍缺乏处理视觉和语音等复杂信息的能力;

在现实世界的场景中,一些复杂的任务通常由多个子任务组成,因此需要多个模型的调度和合作,这也超出了语言模型的能力范围;

对于一些具有挑战性的任务,LLM 在一些情况下表现出优秀的结果,但它们仍然比一些专家(例如,微调模型)弱。

如何解决这些问题可能是 LLM 走向更先进的人工智能系统的第一步,也是关键的一步。

HuggingGPT 的出现旨在能够让 LLM 与外部的模型协调,合力解决上述挑战。

HuggingGPT 的原理

具体来看,我们使用 ChatGPT 在收到用户请求时进行任务规划,根据机器学习社区 Hugging Face 中的功能描述选择模型,用选定的人工智能模型执行每个子任务,并根据执行结果总结响应。

通过利用 ChatGPT 强大的语言能力和 Hugging Face 中丰富的人工智能模型,HuggingGPT 能够覆盖不同模式和领域的众多复杂的人工智能任务,并在语言、视觉、语音和其他挑战性任务中取得令人印象深刻的结果,为实现高级人工智能铺设了一条新的道路。

根据论文解释,HuggingGPT 的整个过程可以分为四个阶段:

任务规划:使用 ChatGPT 分析用户的请求,了解他们的意图,并将其拆解成可解决任务。

模型选择:为解决计划任务,ChatGPT 根据描述选择托管在 Hugging Face 上的模型。

任务执行:调用并执行每个选定的模型,并将结果返回给 ChatGPT。

响应生成:最后使用 ChatGPT 整合所有模型的预测,进行总结和输出。

在这样的设计下,HuggingGPT 能够使用外部模型,也可以整合多模态感知能力,处理多个复杂的人工智能任务。

论文透露,HuggingGPT 目前通过利用 LLM(如 ChatGPT)来连接机器学习社区(如 Hugging Face)中各种人工智能模型,覆盖文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等 24 个任务。

样样都行的 HuggingGPT

在论文中,研究团队以实例进行了解释。如下图:分析 example1.jpg 中姿态和example2.jpg 的描述,重新生成一张图片。

通过 HuggingGPT 流程的第一步任务规划,即让 ChatGPT 分析用户的请求,ChatGPT 得出生成新图片过程涉及三步,进而自动进行模型选择:使用一个「openpose-control」模型来提取篮球图像中的姿势信息;进而使用「nlpconnect/vit-gpt2-image-captioning」生成图像中关于男孩的描述;第三步,执行任务之后,使用 Illyasviel/sd-controlnet-openpose 模型结合姿态信息和描述生成最终的图像。

HuggingGPT 也可以对音频和视频模式的多模型合作进行定性分析:

除此之外,HuggingGPT 可以整合多个用户输入资源来进行简单的推理,得到正确的答案。

写在最后

HuggingGPT 论文的发布引发了不少 AI 专家的关注,如果其正式落地,那么只需要通过 ChatGPT 一个入口就可以访问到各种适用的模型。

对此,英伟达 AI 科学家、斯坦福博士 Jim Fan 评价道:

HuggingGPT 是我本周阅读的最有趣的论文。它非常接近我描述的“Everything App”愿景。ChatGPT 充当 “AI 模型空间”的控制器,根据人类规范选择正确的模型(应用程序),并正确组装它们以解决任务。它是一种“低带宽”方式的多模态——所有模态都需要通过文本字符串进行压缩和连接。HuggingGPT 也与 Prismer 的想法有关:尽可能利用预训练的领域专家模型。有时少训练就是多做事!

为了更好地落地这个愿景,研究团队在 GitHub 上开源了它的基础代码(https://github.com/microsoft/JARVIS),且命名为“Jarvis”(贾维斯),供大家参考学习。

值得注意的是,很多网友直言,它的系统要求可能会直接劝退了不少人:

但是 HuggingGPT 也可以作为通往 AGI 的准入口。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230407A0781P00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券