谷歌申请使用多模态语言模型的开放词表机器人控制专利，用于控制与环境交互的智能体

文章来源：企鹅号 - 金融界视点

国家知识产权局信息显示，谷歌有限责任公司申请一项名为“使用多模态语言模型的开放词表机器人控制”的专利，公开号CN120604238A，申请日期为2024年02月。

专利摘要显示，用于控制与环境交互的智能体的方法、系统和设备，包括被编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括：接收环境的观察图像；接收输入文本序列；生成包括观察图像的对象定位输入；使用对象定位神经网络来处理对象定位输入以生成对象定位输出，该对象定位输出标识观察图像中的一个或多个对象的相应位置；基于观察图像、输入文本序列和对象定位输出来生成策略输入；使用策略神经网络来处理策略输入以生成策略输出，该策略输出定义智能体响应于观察图像而要执行的动作；使用策略输出来选择智能体要执行的动作；以及使智能体执行所选择的动作。