Facebook为了让未来成为现实。 Facebook 的首席研究科学家克里斯汀·格劳曼 (Kristen Grauman) 说:“在这个世界里,我们将拥有可穿戴设备,通过在适当的时间提供信息或帮助我们获取记忆,这些设备可以使你我在日常生活中受益。” 她说,这项技术最终可以用来分析我们的活动,帮助我们找到放错地方的物品,比如我们的钥匙。科技会改变世界改变未来的。
Facebook 表示,它与 13 所大学和实验室合作,招募了 750 人,在两年内拍摄了超过 2,200 小时的第一人称视频。居住在英国、意大利、印度、日本、沙特阿拉伯、新加坡、美国、卢旺达和哥伦比亚的参与者拍摄了自己从事日常活动的视频,例如运动、购物等等。他们使用了各种可穿戴设备,包括 GoPro 相机、Vuzix Blade 智能眼镜和 ZShades 视频录制太阳镜。
Facebook 研究人员将能够请求访问这些数据宝库,该社交网络称这是世界上最大的第一人称无脚本视频集合。这个名为 Ego4D 的新项目让我们一窥科技公司如何改进 AR、虚拟现实和机器人等技术,使其在我们的日常生活中发挥更大的作用。
Facebook 表示,作为新项目的一部分,它为研究人员创造了五个基准挑战。基准测试包括情景记忆,因此您知道何时发生了什么;预测,让计算机知道你接下来可能会做什么;以及手和物体操作,以了解一个人在视频中正在做什么。最后两个基准是了解谁在视频中说了什么,什么时候说的,以及互动中的合作伙伴是谁。
帮助 AI 理解第一人称视频可能具有挑战性,因为计算机通常从观众第三人称视角拍摄的图像中学习。当您录制自己踢足球或乘坐过山车时,诸如运动模糊和来自不同角度的镜头等挑战就会发挥作用。
Facebook 表示正在考虑将该项目扩展到其他国家。该公司表示,视频片段的多样化很重要,因为如果 AR 眼镜正在帮助一个人做饭或洗衣服,那么 AI 助手需要了解这些活动在世界不同地区看起来可能有所不同。
Facebook 表示,视频数据集包括在 9 个国家/地区的 73 个地点拍摄的各种活动。参与者包括不同年龄、性别和职业的人。
与 Facebook 合作的一些大学包括英国的布里斯托尔大学、美国的佐治亚理工学院、日本的东京大学和哥伦比亚的安第斯大学。
期待未来,科技改变生活。科技让生活更美好。
领取专属 10元无门槛券
私享最新 技术干货