我们可以通过深度学习，检测到一个人，但是那个人在做什么我们不知道。所以我们就想让神经网络既检测到人，又知道他在做什么。也就是对这个人的行为进行识别。
本章是《Stable Diffusion 从入门到企业级实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》第02节， 利用Stable Diffusion ControlNet Openpose模型精准控制图像生成。上一节，我们介绍了《Stable Diffusion ControlNet Inpaint模型精准控制》，本部分内容，位于整个Stable Diffusion生态体系的位置如下图黄色部分所示：
人体姿态骨架图 (skeleton) 用图形格式表示人的动作。本质上，它是一组坐标，连接起来可以描述人的姿势。骨架中的每个坐标都被称为这个图的部件（或关节、关键点）。我们称两个部件之间的有效连接为对（pair，或肢）。但是要注意的是，并非所有部件组合 都能产生有效的对。下图是一个人体姿态骨架图的示例。
伴随着计算机视觉的发展和在生活实践中的广泛应用，基于各种算法的行为检测和动作识别项目在实践中得到了越来越多的应用，并在相关领域得到了广泛的研究。在行为监测方面，不仅仅有通过图形、温湿度、声音等信息进行蜂群行为的监测，同时更多的应用是集中在人类行为监测上。而人体姿态识别作为行为监测重要参考依据在视频捕捉、计算机图形学等领域得到了广泛应用。其中传统的人体姿态识别方法有RMPE模型和Mask R-CNN模型，它们都是采用自顶向下的检测方法，而Openpose作为姿态识别的经典项目是采用的自底向上的检测方法，主要应用于行为监测、姿态纠正、动作分类，在智能家居、自动驾驶、智能监控等领域局具有重要的研究意义和应用价值。
前几日分享了learnopencv.com博主Satya Mallick发表的关于OpenCV Mask RCNN实例分割的博文（详见：OpenCV4.0 Mask RCNN 实例分割示例 C++/Python实现），展示了OpenCV作为DNN推断工具的简单用法。 昨日Satya Mallick又发表了使用OpenCV调用OpenPose工程中的手部关键点检测（hand pose estimation）模型的文章，对于想要使用手部关键点检测做手势识别、手语识别、抽烟检测等工程开发的朋友来说这是一个非常简单的上手教程。 先来看看作者发布的视频效果：
因为在ICIP2019上面和两位老师搞了一个关于人体姿态估计以及动作行为的tutorial，所以最近整理了蛮多人体姿态估计方面的文章，做了一个总结和梳理，希望能抛砖引玉。
如今说到体感游戏，大家一定都不陌生，比如微软的 Kinect、任天堂的 Switch，都曾是游戏业的革命性产品。而另一款网红产品—抖音，也在去年底上线过一个“尬舞机”的音乐体感游戏（现在成了隐藏功能）：
这一系列开源项目代表着多个领域的最新技术成果，包括深度学习、自然语言处理、计算机视觉和分布式训练。它们共同的特点是致力于教育、资源分享、开源精神、多领域应用以及性能和效率的追求，为广大开发者、研究者和学生提供了宝贵的工具和知识，推动了人工智能领域的不断发展和创新。
今年2月，上海交通大学卢策吾团队MVIG实验室AlphaPose 系统上线，是首个在 COCO 数据集上可达到 70+ mAP 的开源姿态估计系统。本次更新，在精度不下降情况下，实时性是一大提升亮点。
在这篇文章中，将从CVPR 2019回顾论文“Pose2Seg：Detection Free Human Instance Segmentation”。本文提出了一种人类实例分割的新方法，该方法基于人体姿势而不是提议区域检测来分离实例。
说起计算机音乐的发展史，还要追溯到 1951 年，英国计算机科学家艾伦 · 图灵是第一位录制计算机生成音乐的人。近年来，深度神经网络的出现促使了利用大规模音乐数据进行训练来生成音乐的相关工作。
人体姿态估计（Human Posture Estimation），是通过将图片中已检测到的人体关键点正确的联系起来，从而估计人体姿态。
大家好！此前我们介绍了二维人体姿态估计（2D Human Pose Estimation，以下简称2D HPE）的基本概念、常用数据集，以及自顶向下的2D HPE算法。本文将结合MMPose对自底向上的2D HPE算法做一些更详细的分析。
原文：Github 项目 - OpenPose 在 Ubuntu 的安装 - AIUAI
人体姿态估计指从单个 RGB 图像中精确地估计出人体的位置以及检测骨骼关键点的位置。人体姿态估计是计算机视觉领域的研究热点，是诸多计算机视觉任务的基础，如动作分类、异常行为检测、自动驾驶等。
OpenPose 是一个开源项目，它是第一个能够在单个图像上联合检测人体、手部、面部和脚步关键点 (总共 135 个关键点) 的实时多人系统。该项目具有以下核心优势：
人体姿态估计是一个非常有趣的领域，如果我们能够将诸如棒球摆动或投球等运动的人体姿势量化为数据，那么我们或许能够将数据转化为有用的见解，例如伤害预防或高级训练。
人体姿态识别与估计的应用场景：抖音尬舞机、体育动作教学、3D健身教练、3D试衣、绘画辅助、游戏人物动作采集。
AI 科技评论按：第 32 届 AAAI 大会（AAAI 2018）日前在美国新奥尔良进行，于当地时间 2 月 2 日至 7 日为人工智能研究者们带来一场精彩的学术盛宴。AAAI 2018 今年共收到论文投稿 3808 篇，接收论文 938 篇，接收率约为 24.6 %。
目前主流的高精度实例物体分割框架都是基于很强的物体检测方法，如 Fast/Faster R-CNN, YOLO 等。虽然不同的方法设计了不同的结构，但是这些方法都遵循着一个基本的规则：首先从图像中生成大量的候选区域，然后用非极大值抑制（NMS）算法从这些数以千计的候选区域中剔除那些重复的候选区域。
【新智元导读】根据音乐信号预测身体的运动是一个极具挑战性的计算问题。来自Facebook、斯坦福大学和华盛顿大学的研究人员开发了一种基于深度学习的方法，该方法可以将乐器的声音转换成对骨骼关键点的预测，并可以用于制作动画角色。
CMU 开源的一个实时多人关键点检测库（ real-time multi-person keypoint detection），包括人体关键点，手部关键点，脸部关键点检测，以及姿态估计。
OpenPose代表了第一个在单张图像上联合检测人体、手部、面部和足部关键点（共 135 个关键点）的实时多人系统。
[4] - Rendering Face and Hands Without Pose：
人体姿态识别是计算机视觉领域的重要研究课题之一，它对于人机交互、虚拟现实、体育分析等应用具有广泛的潜在价值。OpenPose是一种广为人知的开源人体姿态估计系统，它能够从图像或视频中准确地检测并估计人体的关键点位置。然而，为了进一步提升姿态估计的精度和稳定性，近期推出的OpenPose DW（Deep and Wide）架构在关键点识别方面取得了显著进展。
原文: OpenPose 基于OpenCV DNN 的多人姿态估计 - AIUAI
AlphaPose 是一个多人姿态估计系统，具有极高的精准度。据卢策吾团队介绍， AlphaPose 在姿态估计（Pose Estimation）标准测试集 MSCOCO 上达到 72.3 mAP，是首个超过 70 mAP 的开源系统，比 Mask-RCNN 相对提高 8.2%，比 OpenPose（CMU）相对提高 17%。除此之外，在 MPII 排行榜上，AlphaPose 以 6% 的相对优势占据榜首。AlphaPose 基于腾讯优图和卢策吾团队在 ICCV 2017 上发表的分区域多人姿态识别算法（RMPE）。
根据图像或视频进行人体姿势估计在如健康跟踪、手语识别等实际应用中起着核心作用。由于个体会做出各种各样的姿势，此任务具有极大的挑战性。
每个 Flag 包括 flag_name, default value 和 description.
AI 科技评论按：本文为上海交通大学林天威为 AI 科技评论撰写的独家稿件，得到了其指点和审核，AI 科技评论在此表示感谢。 视频中的人体动作分析是计算机视觉研究领域中的一个重要方向，包括动作分类，时序动作检测，时空动作检测等等方向。前几天日本东京大学在 arXiv 上放出的一篇论文（大概是 CVPR 投稿文章吧）提出了一个新的人体动作分析问题：第一人称视频中的行人轨迹预测问题，并提出了一个新的数据集以及一个新的行人轨迹预测算法。 论文的题目为：Future Person Localization in F
2013 DeepPose（2013.12，google） 第一个将深度学习应用于humanPose，fc层后面直接暴力回归xy坐标。 2014 Joint-cnn-mrf（2014.06，纽约大学的LeCun组） 第一个采用heatmap的方式来回归出关键点。 SpatialDropout（2014，纽约大学的LeCun组） 第一个采用多尺度fm。 MPII 数据集（2014） 此前的大部分paper都是基于FLIC以及LSP来做评估的，但是在深度学习时代，数据量还是相对偏少（K级别）。 MPII把数据量
人的骨架是什么？相信没有谁比我们自己更了解我们身体的构造了。通俗地说，人骨架框架包括六个部分——头部、左手、右手、躯干、左脚和右脚。
日本人多次犯规，裁判却视而不见，这是对所有参赛选手的不公。在日本举行奥运会就要护着日本？
最新姿态估计研究进展 自上而下：就是先检测包含人的框，即human proposal，然后对框子中的人进行姿态估计。一般RCNN（区域CNN就是这个思路） 自下而上：先检测keypoint，然后根据热力图、点与点之间连接的概率，根据图论知识，基于PAF（部分亲和字段）将关键点连接起来，将关键点分组到人。 1、CMU：openpose 研究多人的姿态估计 运行环境：caffe 自下而上， 关键点被分组到人的实例 时间：2.8-3.4fps 开源,Github: https://github.com/CMU-P
昨天，曾经开源OpenPose的卡内基梅隆大学（CMU）公布了ICCV 2019 论文 Single-Network Whole-Body Pose Estimation，提出一种在单一网络实现全人体姿态估计的算法，相对OpenPose大幅提高了速度。
-欢迎 加入AI技术专家社群>> GitHub现在不再仅仅是一个软件寄存管理器，而是软件工程师通过它来共享他们自己开发的工具/库，甚至这些资源对一些公司都很重要。作为一名狂热的数据科学爱好者，我总结了一系列在2017年尤为出名的知识库！ 1.学习资源 1.1:Awesome Data Science： 这个GitHub是数据科学的资源指南，它是建立在多年来的积累贡献，从引导指南、信息图表到人们在Twitter，Facebook，Instagram等社交网站上的资源链接，其中有很多资源可供观看，无论是否你是初
文章目录 背景介绍 前沿方法介绍 基于音乐的动作编排 背景介绍 在现实应用中，由于舞蹈中肢体活动较灵活和摄像头角度变化，导致人体各部位的可视信息变化颇大，从而为生成高分辨率的目标舞蹈图像带来巨大挑战。
关键时刻，第一时间送达！ 作为一名狂热的数据科学爱好者，本文作者整理了 2017 年 Github 上尤为实用的数据科学资源，希望和大家共同学习。 📷 学习资源 Awesome Data Science 这个 GitHub 库是数据科学的终极资源指南。 多年来，它建立在各种各样的贡献之上，包括入门指南、信息图、以及人们在 Twitter，Facebook，Instagram 等社交网站上关注的学习内容。无论你是刚刚入门的新手还是经验丰富的数据科学家，都有很多资源可供参考学习。 目录如下： 📷 项目地址：ht
目录： 1 AlphaZero-Gomoku 2 OpenPose 3 Face Recognition 4 Magenta 5 YOLOv2 6 MUSE 7 Arnold 8 FoolNLTK 9 Gym 10 style2paints v2.0 1 AlphaZero-Gomoku 用Alpha元下五子棋 项目链接：https://github.com/junxiaosong/AlphaZero_Gomoku 这个项目使用Alpha元算法，通过自训练实现玩五子棋。由于五子棋相比围棋或国际象棋简单得多，
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 目录： AlphaZero-Gomoku OpenPose Face Rec
这个不是本文重点，笔者也还没吃透，可以看这篇综述：Deep Learning-Based Human Pose Estimation: A Survey
这是CVPR2017的一篇文章。 在本文中，文章通过实时算法来检测图像中多个人的二维姿态。 文章提出了关键点关联的明确的非参数表示，其编码人体肢体的位置和方向。 其次，设计了一个联合学习身体部分检测和身体部分关联的框架。 第三，证明一个贪心解析算法足以产生高质量的身体姿势分析，即使随着图像中人数的增加，效率也会保持高效（但是测试时间会随着人数增加而放缓）。 在文章中展示了代表性的失败案例。本文已经公开发布了我们的代码（包括受过训练的模型），以确保完全可重复性并鼓励在该领域的未来研究。
在上一篇文章中，写了stable diffusion的扩散原理，其中讲到noise predictor可以将将text prompt和depth map作为条件控制来生成图片。而depth map是controlNet根据我们输入的图片生成的。
在本文中，作者列出了 2017 年 GitHub 平台上最为热门的知识库，囊括了数据科学、机器学习、深度学习中的各种项目，希望能对大家学习、使用有所帮助。 GitHub 是计算机科学领域最为活跃的社区
原文：OpenPose 基于OpenCV DNN 的手部关键点检测 - AIUAI
原文标题：15 Trending Data Science GitHub Repositories you can not miss in 2017 作者：SUNIL RAY 翻译：杨金鸿 校对：闵黎 本文长度为3400字，建议阅读5分钟 本文为你分享2017年最热门的GitHub项目列表。 简介 GitHub最初的只是一个控制软件版本的工具，如今已经发展成为由来自不同背景的GitHub使用者共享他们自己开发的工具/库，甚至是有用代码库。 GitHub是一座蕴藏了丰富资源的知识宝库，您不仅可以看到最优
前面给大家分别汇总了OpenCV中支持的图像分类与对象检测模型，视觉视觉任务除了分类与检测还有很多其他任务，这里我们就来OpenCV中支持的非分类与检测的视觉模型汇总一下。注意一点，汇总支持的模型都是OpenCV4.4 Github上已经提供的，事实上除了官方的提供的模型，读者还可以自己探索更多非官方模型支持。这里的汇总模型主要来自OpenCV社区官方测试过的。
在本文中，作者列出了 2017 年 GitHub 平台上最为热门的知识库，囊括了数据科学、机器学习、深度学习中的各种项目，希望能对大家学习、使用有所帮助。 GitHub 是计算机科学领域最为活跃的社区，在 GitHub 上，来自不同背景的人们分享越来越多的软件工具和资源库。在其中，你不仅可以获取自己所需的工具，还可以观看代码是如何写成并实现的。 作为一名机器学习爱好者，作者在本文中列出了 2017 年 GitHub 平台上最为热门的知识库，其中包含了学习资料与工具。希望对你的学习和研究有所帮助。 目录 学习
版权声明：博主原创文章，微信公众号：素质云笔记,转载请注明来源“素质云博客”，谢谢合作！！ https://blog.csdn.net/sinat_26917383/article/details/79704097
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
