姿态估计和行为识别作为计算机视觉的两个领域，对于新人来说，较为容易弄混姿态估计和行为识别两个概念。
ROS2的navigation2功能包，支持Linux、Windows和MacOS，并且适用于各类仿真环境如Gazebo、Webots等，同时支持多款真实机器人，最常用的是TurtleBot2和TurtleBot3。
来自中东科技大学在ECCV2018会议上已录用的文章“MultiPoseNet: Fast Multi-Person Pose Estimation using Pose Residual Network”，使用姿态残差网络Pose Residual Network (PRN)进行快速多人姿态估计。
人体动作的本质细微差别往往是通过肢体动作和手势的结合来传达的，但现有的单目动作捕捉方法大多侧重于身体动作捕捉而忽略手的部分，或者只关注手的动作捕捉而不考虑身体动作。在本文中提出了FrankMocap运动捕捉系统，可以估计三维人手和身体运动。
惯性传感器在航空航天系统中主要用于姿态控制和导航。微机电系统的进步促进了微型惯性传感器的发展，该装置进入了许多新的应用领域，从无人驾驶飞机到人体运动跟踪。在捷联式 IMU 中，角速度、加速度、磁场矢量是在传感器固有的三维坐标系中测量的数据。估计传感器相对于坐标系的方向，速度或位置，需要对相应的传感数据进行捷联式积分和传感数据融合。在传感器融合的研究中，现已提出了许多非线性滤波器方法。但是，当涉及到大范围的不同的动态/静态旋转、平移运动时，由于需要根据情况调整加速度计和陀螺仪融合权重，可达到的精度受到限制。为克服这些局限性，该项研究利用人工神经网络对常规滤波算法的优化和探索。
在与谷歌创意实验室的合作，我很高兴地宣布的发行TensorFlow.js版本PoseNet 机器学习模型，它允许在浏览器中实时估计人类姿态。在这里试试现场演示（链接在文末）。
通过摄像头捕捉追踪人体的动作变化，根据肢体动作或变化角度判断人体动作行为，可用于无人车、机器人、视频监控等行为分析需求场景。
原文：Monocular Human Pose Estimation: A Survey of Deep Learning-based Methods
机器之心报道 编辑：陈 近日，来自谷歌的研究者更新了用于实时姿态检测的项目，该项目包含 3 种 SOTA 模型，其中 MoveNet 模型可检测人体 17 个关键点、并以 50+ fps 在电脑和手机端运行；BlazePose 可检测人体 33 个关键点；PoseNet 可以检测人体多个姿态，每个姿态包含 17 个关键点。 不久之前谷歌研究院推出了最新的姿态检测模型 MoveNet，并在 TensorFlow.js 中推出了新的姿态检测 API，该模型可以非常快速、准确地检测人体的 17 个关键节点。这一
原先识别人体骨骼，使用的Google的 MLKit 框架 。方便简单，直接通过Gradle添加相关依赖库。就可以使用了。
这架自主控制无人机是由来自苏黎世大学的研究团队设计研发的 Swift 系统，研究成果登上了最新一期的《Nature》杂志封面。
这篇文章为大家解读由密歇根大学 Hei Law 团队在 ECCV 2018发布的论文，一种新的目标检测算法。
在这项工作中，视频中的3D姿态可以通过全卷积模型来估计，具体是在二维关键点上通过空洞时间卷积的模型得到3D姿态。我们还介绍了一种不带标签（反向投影）的半监督式训练方法。我们先从未标注视频中得到2D姿态，然后估计3D姿态和最后反向投影到输入的2D关键点。在实验中，全卷积模型相比之前state-of-arts，在Human3.6 M上平均每个关节位置误差小6mm，对应误差降低11%，模型在HumanEva-I中也有显著改进。
导语 随便说说，其一，项目的原名是“CV移动交互应用的前后台框架”，为了高大上，起了个“云计算”；其二，这是动手写的第一篇，不过在规划里面第二篇，第一篇项目概述没想好；这篇文章主要来之IEEE的一篇文章，是CV算法实现方案的指导性综述。 1 概述 1.1 定义 头部姿态估计（Head Pose Estimate，HPE）：利用计算机视觉和模式识别的方法在数字图像中判断人头部的朝向问题；头部姿态估计是一个空间坐标系内识别头部的姿态方向参数,也就是，头部位置参数(x,y,z) 和方向角度参数(Yaw,Pitch
选自TensorFlow Blog 机器之心编译 参与：王淑婷、路 TensorFlow 近日发布 TensorFlow.js 版本 PoseNet，该版本 PoseNet 只要电脑或手机配备了适当的网络摄像头，就可以直接在网页浏览器中进行体验。该模型源代码已开放，Javascript 开发者只需几行代码就可以修补和使用该技术。 通过与谷歌创意实验室合作，TensorFlow 近日发布了 TensorFlow.js 版的 PoseNet。这是一款机器学习模型，可以在浏览器中实时估计人体姿态。 模型 Demo
人类非常聪明，我们可以通过观察进行学习。无论是日常的洗手，还是惊人的杂技表演，对人类来说都是可以学习的。
人体姿态骨架图 (skeleton) 用图形格式表示人的动作。本质上，它是一组坐标，连接起来可以描述人的姿势。骨架中的每个坐标都被称为这个图的部件（或关节、关键点）。我们称两个部件之间的有效连接为对（pair，或肢）。但是要注意的是，并非所有部件组合 都能产生有效的对。下图是一个人体姿态骨架图的示例。
来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的实时 3D 人脸姿态估计技术，可以不依赖人脸检测和人脸关键点定位独立运行。
由于是基于像素级的训练，所以需要每个像素都需要标签，这个标签包括每个像素所属的类别以及对应的三维空间坐标。
与谷歌创意实验室合作，我很高兴地宣布发布TensorFlow.js版本的PoseNet，这是一种机器学习模型，允许在浏览器中进行实时人体姿势估计。您可以访问https://storage.googleapis.com/tfjs-models/demos/posenet/camera.html 尝试一下在线演示。
人脸检测是给照片中的每个人脸指定一个边界框，人脸关键点检测则需要定位特殊的人脸特征，如眼睛中心、鼻尖等。基于二者的两步走方法是很多人脸推理任务的关键所在，如 3D 重建。
Efficient Initial Pose-graph Generation for Global SfM
触摸（Touch）是人类在进行协调交互时的主要方式之一。通过触摸感知到的触觉（Sense of Touch）可以帮助人类评估物体的属性，如大小、形状、质地、温度等。此外，还可以利用触觉来检测物体的滑脱，进而发展人类对身体的认识。触觉将压力、振动、疼痛、温度等多种感觉信息传递给中枢神经系统，帮助人类感知周围环境，避免潜在的伤害。研究表明，与视觉和听觉相比，人类的触觉在处理物体的物质特征和细节形状方面更胜一筹。
原文：KRF: Keypoint Refinement with Fusion Network for 6D Pose Estimation
文章：SemanticSLAM: Learning based Semantic Map Construction and Robust Camera Localization
尽管机器人的相关技术近年快速发展，但机器人如何在复杂、真实的场景中实现快速、可靠地感知与任务相关的物体仍然是一项十分具有挑战性的工作。为了提高机器人系统的感知速度和鲁棒性，作者提出了 SegICP，这是一种用于对象识别和位姿估计的集成解决方案。SegICP 结合卷积神经网络和多假设点云配准，以实现鲁棒的像素级语义分割以及相关对象的准确实时 6 自由度姿态估计。该架构在没有初始解的情况下实现了实时的1 cm 位置误差和 小于5°的角度误差。最后在根据运动捕捉生成的带注释的基准数据集上完成了SegICP的评估。本文主要贡献如下：
本文方法是一种自监督的单目深度估计框架，名为GasMono，专门设计用于室内场景。本方法通过应用多视图几何的方式解决了室内场景中帧间大旋转和低纹理导致自监督深度估计困难的挑战。GasMono首先利用多视图几何方法获取粗糙的相机姿态，然后通过旋转和平移/尺度优化来进一步优化这些姿态。为了减轻低纹理的影响，该框架将视觉Transformer与迭代式自蒸馏机制相结合。通过在多个数据集上进行实验，展示了GasMono框架在室内自监督单目深度估计方面的最先进性能。
物体姿态估计在许多现实世界应用中起到至关重要的作用，例如具身智能、机器人灵巧操作和增强现实等。
本文提出了一个基于物理的稀疏惯性动捕和人体受力估计方案：Physical Inertial Poser (PIP)。仅使用6个惯性传感器（Inertial Measurement Unit，IMU），该方案可以实时捕捉符合真实世界物理规律的人体运动，关节受力、以及地面作用力等信息。 该系统可以在CPU上以60fps的速度运行，算法延迟只有16毫秒，相比前人工作在公开数据及上达到了最高的姿态估计精度、动作平滑性、以及最低的系统延迟，并且首次实现了基于稀疏惯性传感器的人体受力估计。通过引入物理优化，该方案大幅提
由于每天创建和观看的视频数量巨大且分辨率不断提高，视频压缩仍然是一个正在进行的研究课题。最流行的视频压缩算法，如 MPEG 和 H.26x 族，通过计算像素块的运动来估计这些块在附近帧中的外观。
本文是被人工智能领域的顶级期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）于2020年8月接收的论文《用于单目3D人体姿态估计的局部连接网络（Locally Connected Network for Monocular 3D Human Pose Estimation）》的解读。
6D 目标姿态估计对许多重要的现实应用都很关键，例如机器人抓取与操控、自动导航、增强现实等。理想情况下，该问题的解决方案要能够处理具有各种形状、纹理的物体，且面对重度遮挡、传感器噪声、灯光条件改变等情况都极为稳健，同时还要有实时任务需要的速度。RGB-D 传感器的出现，使得在弱灯光环境下推断低纹理目标姿态的准确率比只用 RGB 方法的准确率更高。尽管如此，已有的方法难以同时满足姿态估计准确率和推断速度的需求。
首先来看引言部分，概述了在视觉表示学习领域的主流研究集中于捕捉个别图像的语义和2D结构的现状，并指出本研究的重点是同时捕捉场景的3D结构和动态，这对于规划、空间和物理推理以及与现实世界的有效互动至关重要。文章强调了最近在3D视觉场景的生成模型方面取得的进展，特别是从使用体素网格、点云或纹理网格等显式表示转向通过直接优化新视图合成（NVS）来学习隐式表示的转变。如神经辐射场（Neural Radiance Fields）虽然最初限于单一场景并需要大量输入图像、控制的照明、精确的相机姿态和长时间的处理，但随后已被扩展以处理照明变化、跨场景泛化、少量图像工作、缺失相机和动态场景。
I 研习社消息，日前，上海交通大学卢策吾团队开源 AlphaPose。AlphaPose 是一个多人姿态估计系统，具有极高的精准度。 据卢策吾团队介绍， AlphaPose 在姿态估计（Pose Es
最近读取了一些针对Corresponding-based方法的6D姿态识别paper，在这里分享下思路。
新智元报道 来源：MIT CSAIL 编辑：闻菲、肖琴 【新智元导读】MIT计算机与人工智能实验室的研究人员开发了一种基于Wi-Fi的人体姿态估计系统，用AI教会Wi-Fi“穿墙透视”，隔着墙也能
机器之心报道 机器之心编辑部 仅从人体轨迹信息，本文提出的方法 P2R-Net，就能构建出房间内可能存在的物体，如沙发、书架等。 一个人在房间里走来走去，根据人的行走轨迹、身体动作等，就能建模出房间内的物体摆设。例如下面动图中，当人走到右边有坐下的动作时，表明与人交互的场景中有沙发或椅子这个物体。 在计算机视觉任务中，有一项基础任务是了解真实世界的 3D 环境，我们可以将输入介质如 RGB、RGB-D 视频或单个图像等进行 3D 重建来了解周围物体。这种使用有源相机（active cameras）的
作者：卢策吾 【新智元导读】上海交通大学卢策吾团队，今日开源AlphaPose系统。该系统在姿态估计（pose estimation）的标准测试集COCO上较现有最好姿态估计开源系统Mask-RCNN相对提高8.2%，较另一个常用开源系统OpenPose（CMU）相对提高17%。同时，卢策吾团队也开源了两个基于AlphaPose的工作：（1）一个高效率的视频姿态跟踪器（pose tracker），目前姿态跟踪准确率第一。（2）一个新的应用“视觉副词识别“（Visual Adverb Recognition）
项目地址：https://github.com/qhFang/AccurateACL.
原文链接：https://cuijiahua.com/blog/2019/10/life-46.html
人体的运动对于理解人的行为是非常重要的。尽管目前已经在单图像3D姿势和动作估计方面取得了进展，但由于缺少用于训练的真实的3D运动数据，因此现有的基于视频的SOTA方法无法产生准确且自然的运动序列。为了解决这个问题，本文提出了“用于人体姿势和形状估计的视频推理”（VIBE）方法，它利用了现有的大规模运动捕捉数据集（AMASS）以及未配对的2D关键点标注数据。
论文：《img2pose: Face Alignment and Detection via 6DoF, Face Pose stimation》
本文是对发表于计算机图形学顶级会议SIGGRAPH 2021 的论文《 TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors 》的解读。
来源商业新知网，原标题：从DeepNet到HRNet，这有一份深度学习“人体姿势估计”全指南
主要思想：用于从RGB-D图像中估计一组已知对象的6D位姿，分别处理两个数据源，并使用一种新的dense fusion network来提取像素级的 dense feature embedding，并从中估计姿态。实验结果表明，该方法在YCB-Video和Linemod两种数据集上均优于现有的方法。论文还将所提出的方法应用到一个真实的机器人上，根据所估计的姿态来抓取和操纵物体。
论文地址：http://xxx.itp.ac.cn/pdf/2004.00797v2
3D人体姿态和形状估计在最近几年是一个重要的研究热点，但大部分工作仅仅关注人体部分，忽略了手部动作，港中文联合Facebook AI研究院提出了一种从单张图片同时估计人体姿态和手部动作的新方法，展示效果好似科学怪物。
本文的目的是估计RGB-D图像中未见过的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反，我们的问题假设在训练或测试期间没有可用的精确对象CAD模型。为了处理给定类别中不同且未见过的对象实例，我们引入了标准化对象坐标空间（NOCS）-类别中所有可能对象实例的共享规范表示。然后，我们训练了基于区域的神经网络，可以直接从观察到的像素向对应的共享对象表示（NOCS）推断对应的信息，以及其他对象信息，例如类标签和实例蒙版。可以将这些预测与深度图结合起来，共同估算杂乱场景中多个对象的6D姿态和尺寸。为了训练我们的网络，我们提出了一种新的上下文感知技术，以生成大量完全标注的混合现实数据。为了进一步改善我们的模型并评估其在真实数据上的性能，我们还提供了具有大型环境和实例变化的真实数据集。大量实验表明，所提出的方法能够稳健地估计实际环境中未见过的对象实例的姿态和大小，同时还能在标准6D姿态估计基准上实现最新的性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
