首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Meta开源AI模型厉害了!引入多模态转换 听音频就能画画

财联社5月11日讯(编辑 周子意)Meta周二(5月9日)宣布了一个新的开源人工智能(AI)模型ImageBind,该模型可以将六种类型的数据流联系在一起。

ImageBind以视觉(图片和视频)为核心,结合文本声音3D深度温度运动读数(IMU),最终可以做到在六个模态之间的任意转换。

ImageBind为机器提供了一个整体的理解,将照片中的物体与它们的声音、3D形状、冷暖程度、以及它们的移动方式联系起来。

Meta称,ImageBind使机器能够更同步、更全面、更直接地从不同信息形式中学习,进一步向人类靠拢。

AI的未来

该研究的核心概念是将多种类型的数据连接到一个嵌入空间(Embedding Space)中,正是这个概念支撑着最近生成式AI的蓬勃发展。

例如,Meta的AI图像生成器Make-A-Scene可以在ImageBind模型的支持下,从音频中创建图像,例如根据雨林或熙熙攘攘的市场的声音创建图像。

ImageBind还可以提供一种丰富的方式来探索记忆,也就是使用文本、音频和图像的组合来搜索相关信息。

此外,ImageBind为研究人员开发新的整体系统提供了思路,例如结合3D和IMU传感器来设计或体验沉浸式虚拟世界。这不就是Meta一直以来追求的“元宇宙”吗?

上图是Meta在一篇博客文章中给出的案例:当输入一段企鹅的叫声后,ImageBind能生成企鹅的图片;当输入鸽子的照片和一段汽车轰鸣声后,ImageBind能生成一张“人开车惊动鸽群”的照片;ImageBind还可以根据一段火车的音频,生成火车的照片、相关的火车3D模型、以及一段形容火车车站的文本。

该模型目前还只是一个研究项目,没有直接的消费者或实际应用,不过它这种交叉引用数据的模型指明了生成式AI系统的未来,因为它可以创造身临其境的多感官体验。

Meta在博客文章中指出,其他感官输入流也可能会被添加到未来的模型中,包括“触觉、听觉、嗅觉和大脑功能磁共振成像信号”。

想象一下,在未来的一台设备上,你可以让它模拟一次漫长的海上航行,它不仅会让你置身于一艘以海浪为背景声音的船上,还会让你感受到脚下甲板的摇晃和海上空气的凉爽。

开源与限制

当然,这一切都是推测的,而且像这样的研究的直接应用可能会受到更多的限制。

然而,对于行业观察者来说,这项研究很有趣,因为Meta已将其ImageBind的代码开源,这一做法在AI领域受到愈发严格的审查。

OpenAI等反对开源的行业人士称,这种做法对创造者有害,因为竞争对手可以复制他们的作品,而且这种做法可能存在潜在危险,允许恶意行为者利用最先进的人工智能模型。

不过开源的支持者反击道,开源本质上是允许第三方开发人员作为无偿员工来对模型进行改进,从而进一步产生商业效益。迄今为止,Meta一直坚定地站在开源阵营。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230511A077PG00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券