多模态AI技术“涌现”，AI公司的“新机会”

ChatGPT-4的横空出世，让AI行业再一次柳暗花明。

某AI企业人士如此评价GPT-4的进步：“GPT-3或3.5像一个六年级学生，而GPT-4像一个聪明的十年级学生。”

即将毕业的小学生与新晋高中生的思维差距，既体现在涉猎知识的广度上，也体现在独立思考的深度上。

GPT-4为代表的AI智力上的提升，直观表现为，从实现单调的文本交互，转变为可以接受图像、文本作为输入，并表现出更人性化的交互能力。

这种处理多种类型信息的能力，被称为“多模态”技术。

接下来，掌握了多模态AI技术秘钥的公司，将可以进一步拓展下游新兴领域，改变传统AI定制化的特点，向通用化方向发展。

整个产业也将在更加多样化的场景应用，以及产业链条的进一步集成融合中，迎来规模化的升级。

从简单的人脸识别、文字语音识别，上升到理解人的行为意图，像人一样懂得察言观色，以人类复杂性作为参考的人工智能与人类的差距之一，就是多模态信息的智能化理解。

如果说，人工智能的终极目的是让AI基于对环境的感知采取合理行动，从而帮助人类获得最大收益；那么，在更多复杂场景对 AI 技术的应用效果提出更高要求的当下，多模态俨然成为 AI 产业突围的重点方向。

AI的未来范式：多模态

多模态并非新概念，早在2018年，“多模态”作为AI未来的一个发展方向，已开始成为业界研究的重点。

什么叫“多模态”？

“模态”一词最早是一个生物学概念，以人类为例，触觉，听觉，视觉，嗅觉、味觉，都是一种模态。从人工智能和计算机视觉的角度来说，模态就是感官数据。

简单理解，多模态AI=多种数据类型+多种智能处理算法。

以往单模态、单任务的人工智能技术，局限于 AI 模型与数据之间的交互，通过让AI学习互联网上的海量文本、图片等不同模态的数据，寻找其内在规律，但在算力、数据资源的限制下，仅依赖互联网上数据学习很大可能会达到瓶颈。

多模态AI技术，为AI能力的提升，提供了一个解法，即让人工智能自主学习并不断迭代新的知识。

之所以能做到这一点，是因为多模态AI技术，是一种交互式的 AI 技术，突破了以往单一的模型与数据的交互，可以实现模型与模型、模型与人类、模型与环境等多种交互。

举例来说，现在很火的AIGC，可以通过文本生成图像甚至视频，就是多模态AI的一个典型应用。

但多模态AI的想象力，远不止于此。

从技术的创新上来看，模态不仅包括最常见的图像、文本、视频、音频数据，还包括无线电信息、光电传感器、压触传感器等更多可能性。

不同模态都有各自擅长的事情，这些数据之间的有效融合，不仅可以实现比单个模态更好的效果，还可以做到单个模态无法完成的事情。

多模态AI的设计和应用体现一个词：以人为中心。

当AI同时处理多个模态的数据时，其感知方式会更贴近人类，从而让机器更加全面、准确地理解人类的真实指令和意图，比如能够理解人类交流中细微差别的系统，具有高度关怀感和真实感的虚拟助手等，实现的是一种高度自然的人机交互和协同。

虽然AI在多模态方面取得了突破，但这种技术及其应用还不成熟，由多模态AI带来的产业规模升级，还面临重重阻碍。

多模态AI的两大挑战：技术、产业链

多模态AI探索的是人类行动和感知背后的关系，其蕴含的想象力与应用潜能毋庸置疑。

但围绕搜索和生成两项基本任务，多模态AI的训练还存在诸多难点，如多模态数据的收集、新的模型和架构的搭建、高效的数据融合等问题。

首先，多模态的数据收集、对齐和标注，复杂且不易完成。

一方面，优质的多模态数据规模还不够大；另一方面，在具体的业务场景中，很难同时满足所有的模态数据的收集。

共达地对雷峰网表示：“视觉（图像/视频）和文本的数据可以根据语义描述来对齐，但需要经过精心的标注。同样，其它模态的对齐也面临类似的问题，需要考虑如何对齐。”

其次，不同模态具有不同的数据特性，多模态AI的训练，需要根据不同模态的特性，开发新的模型和架构。

构建统一、跨场景、多任务的多模态基础预训练模型，包含两个问题：

如何在统一的预训练模型中，处理视觉 (图片、视频、3D 图像) 三种模态的输入, 并将其映射到统一的特征空间的问题。

如何采用统一的模型和训练框架，分别训练文本、图像、语音的预训练模型的问题。

此外，开发能够大幅降低AI模型训练门槛，简化部署流程，让不具备AI专业知识的人员也能生产算法的平台也十分重要。

再者，让不同模态的数据有效融合以指导决策，也并非易事。

大模型中有非常多隐性的知识，对这些知识的优化、迭代是一大挑战。

多模态AI需要处理的数据和参数十分海量，如何利用并行计算和分布式计算等技术来提高计算效率，也是多模态人工智能技术需要解决的难点之一。

此外，中科摇橹船认为，“如何在多模态AI的下游任务中进行自监督学习也是一大难点。”

也就是说，如何通过构建自监督的任务，提高多模态模型的表征能力，缓解缺少大规模监督数据的挑战。

多模态AI最终是为了实现高质量的内容生成，背后需要参数规模巨大的模型以及海量数据集作为支撑。AIoT场景下，AI应用对于端云互动有着更强的需求。

这意味着，在硬件和芯片上，也提出了更高的要求。

硬件方面，由于要汇聚多种数据分析，行业对前端硬件种类和数量的需求会更大，如视觉、声音等不同模态的数据，都需要不同的设备去采集。

芯片方面，相比于单模态，多模态需要的是庞大的“人工智能算力网络”，单纯的语音芯片、视觉芯片等已很难满足多模态AI算法的需求。

云天励飞对雷峰网表示，从支持大规模并行计算的角度出发，芯片要能够同时处理多个任务和数据流，计算效率和本地存储能力需要进一步提升；从支持多模态AI长时间运行的角度出发，芯片还要能够维持较低的功耗，如通过提高单芯片计算能力，降低系统的复杂度和总成本。

目前，transformer是处理多模态比较常用的技术，共达地李思晋也认为，“当前的芯片，transformer的计算并不高效，如果没有专用的硬件，或者为transformer定制开发，其计算效率比其它模型结构可能慢一个数量级。”

AI公司如何寻找商业化的落脚点？

经过模型参数与数据规模的比拼阶段后，搭载在摄像头、边缘计算盒子、机器人等智能设备中的多模态AI正走向场景应用。

目前已知的是，多模态AI首先在计算机视觉和自然语言处理等领域获得验证。

OpenAI 的 DALL-E模型，可以从文本描述中生成对应图像；谷歌的多任务统一模型MUM，可以做到从 75 种不同语言中挖掘上下文信息来提高搜索体验；英伟达的GauGAN2 模型，可以根据简单的文本输入生成照片般逼真的图像。

多模态大模型时代，AI应用也正走向产业纵深处。

工业场景中，运用多模态的智能化管理系统，正在走进工厂和车间。

以中科摇橹船的AGV调度管理系统为例，通过将雷达图像处理、视觉图像处理等图像处理技术集成在同一产品中，可以轻松完成车辆、交通、调度、运行、叫料、通信、统计等管理工作。相比于人力，这种智能化的管理，更能满足当下制造业客户的柔性定制需求。

在城市治理场景中，多模态AI技术可以运用在巡检机器人上。当前的巡检机器人可以通过“眼睛”识别占道经营、垃圾桶满溢等问题，并对相关情况进行提醒，但大多没有“耳朵”。

相关研究表明，人类获取的信息中的25%，都是通过听觉实现的。对于巡检机器人来说，没有耳朵，意味着难以监测到环境中的异常响动。

云天励飞表示，未来将研发下一代高效多模信息感知引擎，在原有的视频结构化技术基础上结合三维场景信息、音频信息等其他模态信息，提升传感器信息流中语义和非语义信息的结构化密度，从而为相关产品及服务在更多应用场景的落地提供算法技术支持。

但客观来看，在视觉和听觉之外，能够商业化落地的多模态技术还很少，大多处于研究阶段。

多模态AI之路不好走，高度智能的人机交互道阻且长，主要表现为：

一、 AI 的理解和执行还不够可控、可信赖、可复制。

比如，多样化风险和AI偏见风险，当数据不具有广泛代表性时，算法就会出现偏差，偏差的不断被放大，（后果）

二、算法开发成本较高，产品不具性价比，市场和客户不愿意买单。

多模态AI的应用落地，需要大量专业的研究人员，包括算法架构师或AI开发者，也包括产业专家。而这两类专家关注点的相对独立，又往往进一步增加研发和落地过程中的成本。

此外，多模态AI的应用需要不同类型的数据、知识、产品等，其落地需要产业链整体加强协作和沟通，从核心的AI芯片，到物联网硬件，再到软件算法开发，时间周期长，需要协调各方利益。

三、业务场景较少，且业务场景的定义还不够清晰。

多模态AI产品和方案，需要根据实际需求针对性开发，什么场景需要使用哪几个模态，以及从成本和收益上来看，是否有商业价值，都需要进行前置考虑。

AI能力想要进入实体产业，尤其是工业属性相对较强的产业，需要从方方面面的复杂细节中进入，而答案都掌握在Know-How手中。

“与行业领域具备know-how的公司进行合作，降低场景验证的成本，是AI公司的机会点。”李思晋表示。

多模态技术是个硬骨头，更加类人的智能需要AI公司投入大量的研发；其背后需要的大模型和海量数据，同时对产业链上的硬件和芯片厂商提出了更高的要求；业务场景的探索尚处迷雾之中；市场的接受度也还不尽人意。

但从好的一面看，无论是最近大火的AIGC，还是在国内默默壮大的多模态人工智能产业联合体，都说明AI将不断朝着多模态方向发展，以更为广泛的感知能力，进一步向产业落地。