首页
学习
活动
专区
工具
TVP
发布

Facebook正在研究:可以看到、听到和记住你所做一切的 AI 系统(论文《Ego4D:3000个小时以自我为中心的视频!)

AI工具有朝一日可能会出现在Facebook的AR 眼镜中。

Facebook 正在往增强现实(AR)领域投入大量的时间和资金,包括与Ray-Ban一起打造自己的AR眼镜。眼下,这些小装置只能记录和分享图像,那么这家公司认为这类设备将来可以派什么用场呢?

Facebook的AI团队领导的一项新研究项目表明了该公司的雄心壮志。它设想:AI系统使用第一人称视频不断分析人们的生活,并记录人们的所见所闻和举动,以帮助他们处理日常任务。Facebook 的研究人员已概述了希望这些系统逐渐养成的一系列技能,包括“情景记忆”(回答诸如“我把钥匙落在了哪里?”之类的问题)和“视听日记”(记住谁在什么时候说了什么)。

目前,任何AI系统都无法可靠地完成上述任务,Facebook强调这是一个研究项目,而不是商业开发。然而很明显,该公司将诸如此类的功能视为AR计算的未来。Facebook AI研究科学家Kristen Grauman告诉美国科技媒体网站The Verge:“当然,考虑到增强现实以及我们希望能够用它来做什么,将来我们会充分利用这种研究的希望很大。”

这种野心勃勃的项目对隐私有着巨大影响。隐私专家们已经担心Facebook的AR眼镜如何让佩戴者得以偷偷记录人们的举动。如果未来的硬件不仅记录所拍的镜头,还会分析和转录镜头,将佩戴者变成行走的监视机器,这种担忧只会加剧。

Facebook 的第一副商用AR眼镜只能记录和分享视频和图片,不具有分析功能。

Facebook研究项目的名称是Ego4D,是指对第一人称或“以自我为中心”的视频进行分析。它由两大部分组成:收录以自我为中心的视频的开放数据集和Facebook认为AI系统在未来应该能够处理的一系列基准任务。

该数据集是有史以来最庞大的数据集,Facebook与全球 13 所大学合作以收集数据。总共大约3205个小时长的镜头由居住在九个不同国家的855名参与者录制。

负责收集数据的是这些大学,而不是Facebook。参与者(其中一些人获得报酬)佩戴GoPro相机和AR眼镜来录制即兴活动的视频。这些活动从建筑工作、烘焙到与宠物玩耍、与朋友交往,不一而足。大学抹去了所有镜头的识别信息,这包括模糊处理旁观者的脸部,删除任何个人身份信息。

Grauman 表示,该数据集“在规模和多样性方面都属同类中首创”。她表示,最接近的同类项目包含100小时长的完全在厨房拍摄的第一人称镜头。“我们打开了这些AI系统的视野,不仅仅面向英国和西西里岛的厨房,还面向来自沙特阿拉伯、东京、洛杉矶和哥伦比亚的镜头。”

Ego4D 的第二个组成部分是一系列衡量基准或任务,而Facebook希望世界各地的研究人员试着使用拿其数据集训练的AI系统解决这些基准任务。该公司将这些任务描述为:

情景记忆:何时发生了什么(比如“我把钥匙落在了哪里?”)?

预测:接下来我可能会做什么(比如“等一下,你已经给这道菜加盐了”)?

手和物体操控:我在做什么(比如“教我如何打鼓”)?

视听日记:谁在什么时候说了什么(比如“课堂上的主要话题是什么?”)?

社交互动:谁在与谁互动(比如“帮助我在这家嘈杂的餐厅更清楚地听到那个人跟我说的话”)?

现在,AI系统会发觉处理任何这些问题异常困难,但创建数据集和基准任务是一种久经考验的方法,可以促进AI领域的发展。

的确,创建一个特殊的数据集和设立一场相关的年度竞赛(名为ImageNet)常常被认为掀起了最近的这股AI热潮。ImagetNet数据集由一大堆对象的图片组成,研究人员训练AI系统来识别这些对象。2012 年,比赛的获胜者使用深度学习的一种特殊方法来击败竞争对手,开启了当前的研究时代。

Facebook的Ego4D数据集应该有助于促进研究可以分析第一人称数据的AI系统。

Facebook希望其Ego4D项目对增强现实领域会产生类似的影响。该公司表示,拿Ego4D训练的系统有朝一日不仅可以用于可穿戴摄像头,还可以用于家庭助理机器人,这类机器人也依靠第一人称摄像头来感知周围的环境。

Grauman说:“该项目有机会以一种尚未真正实现的方式切实促进该领域的工作。为了让我们的领域从能够分析在目的非常特殊的情况下由人类拍摄的大量照片和视频,进入到这种流动的、持续的第一人称视觉流,AR 系统和机器人就需要在持续活动的背景下理解这种视觉流。”

虽然Facebook概述的任务看起来确实很实用,但该公司对这一领域的兴趣会让很多人感到担忧。Facebook在隐私方面的表现一向非常糟糕,包括数据泄露和被联邦贸易委员会(FTC)处以50亿美元的罚款。媒体还一再报道,这家公司在许多领域更注重业务增长和用户参与,而不是注重用户的福祉。考虑到这一点,这个Ego4D项目中的基准任务不包括重要的隐私保护措施不免令人担忧。比如说,“视听日记”任务(转录不同人所说的内容)从未提及删除有关不想被记录的人的数据。

被问及这些问题时,Facebook的发言人称,该公司预计将来会进一步引入隐私保护措施。发言人说:“我们预计,鉴于许多公司使用该数据集和基准任务来开发商业应用,他们会为这类应用开发保护措施。比如说,在AR眼镜可以改善某人的声音之前,会落实一套规程,AR眼镜遵守该规程,向其他人的眼镜征求许可,或者可能限制设备的使用范围,以便它只能从已经与我在交谈的那个人或就在我身边的那些人录取声音。”

目前,这类保障措施只是假设性的。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211016A0BCB800?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券