刚刚！OpenAI 在 ChatGPT 中推出新的语音和图像功能，多模态更进一步！

莫尔索

发布于 2024-03-15 14:30:31

890

发布于 2024-03-15 14:30:31

ChatGPT正在推出新的语音和图像功能。 语音方面:1.允许用户进行语音对话,提供更直观的交互方式。2. 支持在iOS和‍Android移动应用上使用。 3. 提供5种不同的语音选择。4. 使用新型文本转语音模型和语音识别系统实现。 图像方面:1. 允许用户上传图像与ChatGPT进行交互。2. 支持讨论多张图像。3. 提供移动应用上的绘图工具。 4. 使用多模态GPT模型理解图像。5. 首先面向Plus和企业用户推出。6. 语音和图像功能的推出采取渐进策略,以确保安全性。7. 要注意模型局限性,避免高风险场景下的依赖。 下面是 OpenAI 博客原文👇

我们正在开始推出 ChatGPT 的新语音和图像功能。它提供了一种新的、更直观的接口类型,允许您进行语音对话或向 ChatGPT 展示您在谈论的内容。

语音和图像为您提供了在生活中使用 ChatGPT 的更多方式。当旅行时拍摄地标照片,并就其有趣之处进行实时对话。当您在家时,拍摄冰箱和食品储藏室的图片,以确定今晚要吃什么(并提出后续问题以逐步获取食谱)。晚餐后,通过拍照、圈出问题集并与您一起分享提示来帮助您的孩子解决数学问题。

我们正在向 Plus 和企业用户推出 ChatGPT 中的语音和图像功能,在未来两周内推出。语音将在 iOS 和 Android 上推出(在设置中选择加入),图像将在所有平台上提供。

与 ChatGPT 对话,并让它回复

您现在可以使用语音与您的助手进行双向对话。与它闲聊、为家人请求睡前故事,或在餐桌上解决争论。使用语音与您的助手进行双向对话。

要开始使用语音,请转到移动应用程序上的“设置”->“新功能”,然后选择加入语音对话。然后,点击主屏幕右上角的耳机按钮,并从五种不同的语音中选择您偏好的语音。

新的语音功能由一个新的文本到语音模型提供支持,该模型能够从仅仅文本和几秒钟的语音样本生成类人的音频。我们与专业配音员合作,创建了每种语音。我们还使用 Whisper,我们的开源语音识别系统,将您的语音转录为文本。

聆听语音示例

选择文字故事配方演讲诗歌解释

一旦在一片宁静的树林里,有一只叫 Lila 的蓬松的母猫。一个阳光明媚的日子,她和她玩耍的小猫 Milo 一起依偎在一棵老橡树的树荫下。 “Milo,”Lila 柔声细语地说道,“你马上就要有一个新的玩伴了。” Milo 好奇地竖起耳朵。“一个新的玩伴?” Lila 发出呼噜声,“是的,一个小妹妹。” Milo 兴奋地睁大了眼睛。“一个妹妹?她会像我一样追逐尾巴吗?” Lila 笑了。“哦,她会有自己的怪癖。你会教她的,不是吗?” Milo 热切地点点头,已经开始想象他们将要分享的冒险。

和图像进行聊天

您现在可以向 ChatGPT 展示一张或多张图像。解决烧烤架为什么不启动的问题,探索冰箱的内容以计划一餐,或分析包含工作相关数据的复杂图表。为了聚焦图像的特定部分,您可以使用移动应用程序中的绘图工具。

向 ChatGPT 展示一张或多张图像。

要开始,点击拍照按钮捕获或选择图像。如果您在 iOS 或 Android 上,请先点击加号按钮。您还可以讨论多张图像或使用我们的绘图工具来指导您的助手。

图像理解由多模态 GPT-3.5 和 GPT-4 提供支持。这些模型将其语言推理技能应用于各种图像,如照片、屏幕截图和包含文本和图像的文档。

我们正在逐步部署图像和语音功能

OpenAI 的目标是建立安全且有益的 AGI。我们认为逐步提供我们的工具非常重要,这使我们能够随着时间的推移进行改进和完善风险缓解措施,同时也为所有人准备好未来更强大的系统。当涉及到语音和视觉的高级模型时,这种策略变得尤为重要。

语音

新语音技术——仅需几秒钟的真实语音就能生成逼真的合成语音——为许多创造性和辅助性应用打开了大门。然而,这些功能也带来了新的风险,例如恶意行为者可能会冒充公众人物或进行欺诈。

这就是为什么我们使用这项技术来驱动一个特定的用例——语音聊天。语音聊天是与我们直接合作的配音演员创造的。我们也以类似的方式与其他人合作。例如,Spotify 正在利用这项技术的力量为他们的语音翻译[1]功能试点,这有助于播客主持人通过使用播客主持人自己的声音将播客翻译成更多语言来扩大他们的讲述力量。