元乘象Chatimg：会看图聊天的国产多模态通用大模型来了

元乘象Chatimg：会看图聊天的国产多模态通用大模型来了

能用图片聊天的ChatGPT你用过吗？由于 OpenAI 目前给出的对话框只支持文字输入，所以在 ChatGPT 上，我们是无法体验到这种乐趣的。

但是，一个名为“元乘象 Chatimg”的国产 AI 模型弥补了这一遗憾。它不仅支持文字聊天，还能看懂图片上的内容并根据图片内容回答问题。

，“元乘象 Chatimg”上线后十分火爆，关注微信公众号“元乘象”就可以体验该应用。

元乘象Chatimg初体验

如果给你一幅名画图片，可以想象一下，如果不知道这幅画的名字，我们要怎么才能得到这些答案？首先，我们要把图片输入搜索引擎，从而根据匹配结果得到画的名字，然后再拿着这个名字去搜想知道的信息。而且这些信息可能以大篇幅的形式弹出，需要你自己去找感兴趣的段落。而借助“元乘象 Chatimg”，我们只需要上传图片、提问题就可以了。

笔者给“元乘象 Chatimg”一张油画的图像，发现它可以迅速识别出图片内容是梵高的《星夜》，并做出鉴赏和评判。

甚至，它还能根据图片编个故事，而且编的故事往往比较积极、阳光。如果你想聊聊艺术，“元乘象 Chatimg”也能陪你聊，并告诉你艺术品背后的故事。如果让Chatimg帮助分析人物性格，它的分析似乎也没有破绽。

Chatimg有一些对于生活比较实用的功能，比如美食建议，给出一些食材，它给出的建议，已经是“美食达人”的水准。

“元乘象 Chatimg”的这些能力不止可以用来闲聊，还可以用来写各类建议、商品文案、旅游宣传词…… 这些都是可以商业变现的场景。

虽然结果可能不能直接拿来用，但用作参考还是很实用的。

当然，如果你对结果不满意，还可以要求“元乘象 Chatimg”重写，完整体验做甲方的感觉。

此外，我们还在测试过程中发现了一些有趣的现象。比如，如果“元乘象 Chatimg”仅根据图像和文字线索回答不出你的问题，它会让你帮忙提供更多信息。在增加信息之后，它有可能给出正确答案。

此外，Chatimg还有交往建议、穿搭建议、秒懂情绪、美食点评、艺术品鉴赏等一系列新潮、好玩、实用的功能应用。

背后的技术与团队

如今，大模型在 NLP 任务中取得了成功的应用。但真实世界的数据模态是多样的。在通用人工智能的发展过程中，多模态感知极为重要的一环，也是解锁大模型技术应用的关键。

据了解，“元乘象 Chatimg”就是搭载了自研的百亿级别参数多模态大模型，从而能让我们像体验的那样能感知图片并进行对话。

简单介绍来说，目前元乘象 Chatimg 大模型参数规模大概 150 亿；数据方面目前主要是图文对数据、VQA 数据等。而在训练过程中，该模型放开尽量少的可学习参数，从而保证在有限算力上的高效训练。

未来，除了当下的图文互动外，该模型还将集成图片生成的能力并加入视频、音频等多种模态，甚至与数字人等技术结合，开发出更生动立体的形象。

（图为卢志武教授）

顺便透露一下，这个好玩的应用来自中国人民大学高瓴人工智能学院教授卢志武带领的团队。卢志武教授曾主导设计了首个公开的中文通用图文预训练模型文澜 BriVL，并发表于 Nature Communications。该模型经过 6.5 亿弱相关中文图文对的预训练，学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来，尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。