本文将使用Python和MediaPipe搭建一个嗜睡检测系统 (包含详细步骤 + 源码)。
Mediapipe是Google开发的一种跨平台框架，用于构建实时音频、视频和多媒体数据处理应用程序。它提供了一系列预构建的机器学习和计算机视觉模型，可用于实现诸如姿势识别、人脸检测、手势识别、目标追踪等应用。Mediapipe的主要特点是高效、可扩展和跨平台，它支持多种操作系统（包括Android、iOS和桌面操作系统）和多种编程语言（包括C ++、Python和Java）。
能够感知手的形状和运动，这是改善各种技术领域和平台的用户体验的重要组成部分。例如，它可以形成手语理解和手势控制的基础，并且还可以在增强现实中实现物理世界之上的数字内容和信息的叠加。虽然对人们来说很自然，强大的实时手感是一项极具挑战性的计算机视觉任务，因为手经常遮挡自己或彼此（例如手指/手掌闭塞和手抖）并且缺乏高对比度模式。
这就是谷歌AI今天发布的MediaPipe Objectron，一个可以实时3D目标检测的pipeline。
原文链接：https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html
为电视和显示器拍摄制作的视频常常使用横向16：9或者4：3比例。然而越来越多的用户开始在移动设备上制作和观看视频，传统的画面比例并不能完美兼容。为此需要对视频画面进行剪裁，传统的做法涉及到静态剪裁，例如，选定好可视区域，然后把区域外的内容全部剪掉。不幸的是，由于构图种类和相机运动模式繁多，这种静态剪裁经常产出无法让人满意的结果。而其他特殊的做法，常常要求拍摄者手动确定每个画面的目标，并追踪他们在每帧间的转变，然后相应的剪裁掉多余的画面。这个过程是非常耗时、乏味且容易出错的。
近日，谷歌发布了一个高性能的实时手部追踪系统。不需要高性能的GPU、TPU，在手机上就能用！
CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo
MediaPipe以前可以部署到台式机，运行Android和iOS的移动设备以及诸如Google的Coral硬件系列之类的边缘设备，但是它越来越多地通过 WebAssembly，可执行程序的便携式二进制代码格式和XNNPack ML推理库进入网络，这是浮点AI推理运算符的优化集合。在图形和渲染方面，MediaPipe现在会自动直接进入WebGL，这是一个JavaScript API，用于在任何兼容的Web浏览器中渲染交互式2D和3D图形，从而使该浏览器在运行时创建一个虚拟机，可以非常快速地执行指令。
论文《Persona: Real-Time Neural 3D Face Reconstruction for Visual Effects on Mobile Devices》中吐槽mediapipe效果不佳，示例视频主要列举了四种badcase。
随着人脸识别技术的发展，给我们的日常生活带来了许多的便利，但是同样的也存在隐私的问题。以及可能被不法分子用于做一些违法事情。
Google最近宣布了在Google Meet中模糊和替换背景的方法，以便更好地关注人物而不是周围的环境。这些新功能由MediaPipe内置的尖端Web机器学习（ML）技术提供支持 ，该技术可 直接在浏览器中运行，而无需执行任何其他步骤，如安装其他软件。开发这些功能的主要动机之一是在几乎所有现代设备上提供实时的浏览器内性能。它通过结合高效的设备上ML模型， 基于WebGL的渲染和通过XNNPACK 和 TFLite的基于Web的ML推理来 实现此目的。
就在不久前，Google 人工智能实验室宣布，他们在「实时手部跟踪」方面取得了新的进展，并将这项新技术运用在了 MediaPipe 中，这也是 AI 计算机视觉任务的一大突破。这一技术不光可以在手机上实现实时捕捉性能，甚至可以同时对多个手的动作进行跟踪。目前，Google 已经将该项目开源，并且发布了相关博客介绍了这项技术，AI 开发者将其内容整理编译如下。
MediaPipe是用于构建跨平台多模态应用ML管道的框架，其包括快速ML推理，经典计算机视觉和媒体内容处理（如视频解码）。下面是用于对象检测与追踪的MediaPipe示例图，它由4个计算节点组成：PacketResampler计算器；先前发布的ObjectDetection子图；围绕上述BoxTrakcing子图的ObjectTracking子图；以及绘制可视化效果的Renderer子图。
因为手机平板等各种终端设备层出不穷，制作人拍个视频还要剪裁成各种尺寸，以便分发到各种渠道。然而，如果要聚焦于核心内容，那么能追踪主体，并剪裁视频长宽尺寸的能力就必不可少了。
【导读】我爱计算机视觉（aicvml）CV君推荐道：“虽然它是出自Google Research，但不是一个实验品，而是已经应用于谷歌多款产品中，还在开发中，将来也许会成为一款重要的专注于媒体的机器学习应用框架，非常值得做计算机视觉相关工程开发的朋友参考。”
ObjectDetection子图仅在请求时运行，例如以任意帧速率或由特定信号触发。更具体地讲，在将视频帧传递到ObjectDetection之前，本示例中的PacketResampler将它们暂时采样为0.5 fps。你可以在PacketResampler中将这一选项配置为不同的帧速率。正是因为如此，在识别的时候可以时间抖动更少，而且可以跨帧维护对象ID。
虚拟偶像是近年来随着元宇宙一起流行的行业，该词汇最初出现在人们视野时，是用于代指像洛天依、初音未来这类的美少女角色形象，现在虚拟偶像指所有的3D卡通人物形象，他们不以真人实体形式存在的偶像、歌姬，但可以通过专辑、MV、写真集、直播进行偶像活动，是二次元文化的主流。
直播、短视频、在线会议等应用越来越多地进入人们的生活，随之诞生的是丰富的各类创意玩法与新鲜体验，其中大量应用了以AI检测和图形渲染为基础的AR技术。
物体检测作为计算机视觉领域最广泛的研究主题之一，虽然2D 物体检测已在工业界得到了比较成熟的应用，然而实现 3D 物体检测目前还困难重重。
这个是真的，首先需要从Google在2020年发布的mediapipe开发包说起，这个开发包集成了人脸、眼睛、虹膜、手势、姿态等各种landmark检测与跟踪算法。
用mediapipe可以进行手部标记。获得手部标记后，我们可以做一些应用，例如显示、利用手势进行一些控制等。本文介绍了使用opencv和mediapipe检测和显示摄像头（或视频）中的手并进行标记，然后应用手部标记操作电脑音量。
文 / Google研究院软件工程师，Tingbo Hou & Tyler Mullen
一种新的浏览器内 ML 解决方案，用于模糊和替换 Google Meet 中的背景。效果出色毫无 PS 痕迹，且在低端设备上实现了实时性能和低功耗。
OpenCV 是一个用于计算机视觉应用程序的库。在 OpenCV 的帮助下，我们可以构建大量实时运行更好的应用程序。主要用于图像和视频处理。
OpenCV是一个基于Apache2.0许可发行的跨平台计算机视觉与机器学习的软件库。
MediaPipe是一款由Google开发并开源的数据流处理机器学习应用开发框架。
实时手势和动作跟踪器是手语识别和手势控制系统的重要组成部分，但是它们经常因遮挡和缺乏对比模式，无法可靠或稳健地执行任务。
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 一位程序员老哥Caleb最近喜得一子，不过烦恼也随之而来。 刚出生的Baby每隔几个小时就要喂一次，夜里饿了就会放声大哭，这时全家都被吵醒，被折腾一晚上睡不好觉。 他咨询了周围有经验的人，得到的建议都是： 忍着，熬过最初几个月就好了。 但Caleb作为程序员可不甘心，开始运用他的工程师思维解决问题。 最终，通过摄像头+AI算法的组合，他搞出一套婴儿饥饿自动检测系统，能在宝宝真正开始哭之前就及时发现。 Caleb让程序一旦判定宝宝的饥饿可能性达到100
Protobuf是google开发的一个序列化和反序列化的协议库，我们可以自己设计传递数据的格式，通过.proto文件定义我们的要传递的数据格式。例如，在深度学习中常用的ONNX交换模型就是使用.proto编写的。我们可以通过多种前端(MNN、NCNN、TVM的前端)去读取这个.onnx这个模型，但是首先你要安装protobuf。
---- 新智元报道 作者：Ivan Grishchenko & Valentin Bazarevsky 【新智元导读】谷歌MediaPipe Holistic为突破性的 540 多个关键点（33 个姿势、21 个手和468 个人脸关键点）提供了统一的拓扑结构，并在移动设备上实现了近乎实时的性能。 在移动设备上对人体姿势、人脸关键点和手部追踪的实时同步感知，可以实现各种有趣的应用，如健身和运动分析、手势控制和手语识别、增强现实效果等。 谷歌之前发布的 MediaPipe 就是一个专门为GPU或CP
为了更好地了解人体的视频和图像，姿势检测是关键的一步。目前许多人已经在现有模型的支持下尝试了 2D 姿态估计。
最近Reddit上一个小哥发帖，借助深度学习技术，随着手指的移动，可以在屏幕上隔空绘制图形，可以实现了这样的一个效果。
---- 新智元报道 编辑：QJB 【新智元导读】最近，谷歌AI 宣布推出了 MediaPipe Holistic，提供了一种新颖的人体姿势拓扑结构。MediaPipe 是专门为利用加速推理（例如 GPU 或 CPU）的复杂感知管道而设计的开放源代码框架，已经为很多复杂任务提供了快速，准确而又独立的解决方案。 在移动设备上实时、同步地感知人体姿势、脸部标记和手势跟踪等可以实现各种有趣的应用，例如健身和运动分析、姿态控制和手语识别、扩增实境效果等等。 谷歌的MediaPipe 是一个开源
对象检测一直是计算机视觉中研究最广泛的问题之一。作为最基本和最基本的检测形式之一，并且其用途无与伦比，对象检测已在许多基于商业计算机视觉的应用中使用。
我是一名专注于机器学习和机器人技术自由者。我的热情始于大学期间的人工智能课程，这促使我探索人机交互的新方法。尤其对于机械臂的操作，我一直想要简化其复杂性，使之更加直观和易于使用。
机器学习(ML)的最新技术已经在许多计算机视觉任务上取得了SOTA的结果，但仅仅是通过在2D照片上训练模型而已。
原文链接 / http://ai.googleblog.com/2020/11/announcing-objectron-dataset.html
近年来，扩散模型在文本到图像生成方面取得了巨大的成功，实现了更高图像生成质量，提高了推理性能，也可以激发扩展创作灵感。
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 见过3D物体数据集，见过会动的3D物体数据集吗？ 每段动态视频都以目标为中心拍摄，不仅自带标注整体的边界框，每个视频还附带相机位姿和稀疏点云。 这是谷歌的开源3D物体数据集Objectron，包含15000份短视频样本，以及从五个大洲、十个国家里收集来的400多万张带注释的图像。 谷歌认为，3D目标理解领域，缺少像2D中的ImageNet这样的大型数据集，而Objectron数据集能在一定程度上解决这个问题。 数据集一经推出，1.6k网友点赞。
借助TensorFlow Lite和MediaPipe，谷歌刚刚开源了一款手势识别器，可以直接在手机上运行，实时跟踪，并且已经开源。
这种情况下，我们就不能使用cmd或pycharm进行安装了（若继续使用，则可以使用国内镜像进行加速安装，但是python中的一些高级库，国内镜像的文件是不全的，下载容易出问题！）
用opencv库拍摄一帧图片，用mediapipe库识别人手和标识点，然后用opencv在视频上添加标识的信息，最后用opencv合成一个动态视频输出
今天我逛GitHub Trending的时候突然发现MediaPipe的示例库被顶到了前排
近日，腾讯开源发布的一个新项目在推上获得了如此评价。这个项目是 AniPortrait，其可基于音频和一张参考图像生成高质量动画人像。
VFX的素材最常用的是绿幕视频。通过拍摄实景+绿幕，然后通过把绿幕视频素材合成到3D场景中。
本期将介绍并演示基于MediaPipe的手势骨架与特征点提取步骤以及以此为基础实现手势识别的方法。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
