Google推出Move Mirror趣味AI网站，可在浏览器中根据人体动作即时搜图

从AlphaGo到猜画小歌，Google一再向我们展示着人工智能的神通广大，前段时间Google又推出一个新的AI实验网站 Move Mirror 。

Move Mirror是一个人工智能实验，通过移动让你以一种有趣的新方式来探索图像，当你在摄像头前移动时，Move Mirror会通过你的实时动作判定你的人体姿势，与数百张在世界各地做类似姿势的人的图像相匹配，筛选出与你的姿势最相近的图像。你甚至可以捕获做一个GIF图，与你的朋友分享它。

大概的运作原理是：它会利用PoseNet来镜像图像中人体姿势的关节对应位置，分析后从有80000张素材的数据图库中对比出与你姿势最接近的图像，而这个过程仅仅需要15ms。并且搜索结果会即时比对随时变更。

这这要归功于TensorFlow.js，这是一个允许你在浏览器中运行机器学习项目的Javascript库。通过将PoseNet移植到TensorFlow.js，任何拥有配备好网络摄像头的PC或手机的人都可以在Web浏览器中体验和使用这项技术。关于隐私，当PoseNet由tensorflow.js驱动时，这就意味着姿态估计直接发生在浏览器中，你的图像不会被储存或发送到服务器，所有的图像识别都在本地进行。所以你可以放心去做一些看着很搞笑或有点蠢的动作。

上段说到PoseNet这是一个由剑桥大学开发的姿态估计开源工具，允许任何Web开发人员完全在浏览器中进行基于身体的交互，不需要特殊的相机或C++/Python技能，这是非常先进的姿势估计模型，即使是一些模糊，低分辨率，黑白的图片，也可以从图像数据中提供高度准确的姿势数据。PoseNet可以通过简单易获取的Web API降低了姿态估计的入门门槛。

姿态匹配和搜索是Move Mirror面临的难点。

PoseNet在面部和身体上检测17个姿势关键点。每个关键点都有三个重要的数据：（x，y）坐标位置（表示PoseNet发现该关键点的输入图像中的像素位置）和一个置信度得分（PoseNet对猜测的正确程度有多大）。

通过将关键点转化为矢量并绘制在高维空间中，找到两个最接相似的姿势。

但是姿态估计是一个动态的问题，每一个关节我们在匹配时候也并非拥有100%的置信度，这时候需要进行加权匹配，即根据重要性的不同不同关节的权值不同，以期待找到最为相似的动作。

通过Move Mirror，谷歌团队展示了计算机视觉技术，姿态估计（Pose Estimation）。追踪在3D空间中身体的移动，姿态估计是一个很复杂的问题，因为人们有不同的大小，同时有许多关节可以追踪，并且周围物体也会导致视觉遮挡（在过去我们介绍过不少有关技术），有些人使用轮椅拐杖都会影响相机判定。动作捕捉技术十年前就已经被使用，以微软Kinect为代表的体感设备在游戏领域大放光彩，但使用的硬件都价格不菲，通常还需要其他数据库和程序支持，这些支持从未普及到大众开发者和用户。

这也就是Move Mirror脱颖而出的原因，它让你只需要浏览器和摄像头就可以做到。

Move Mirror让我们可以在各种各样的人身上找到很多乐趣，通过你的动作去搜索舞蹈动作，电影剪辑或者是健身视频。从另一个方面想，使用姿态估计系统来帮助指导家庭瑜伽锻炼或物理治疗也是一个不错的选择。尽管Move Mirror只是一个实验，但在谷歌团队眼里，这将是一场姿态实验在浏览器中的寒武纪爆发。

传送门：g.co/movemirror