资源 | 做一款炫酷的机器人需要哪些学习资源（机器人资源Awesome系列）

翻译 | AI科技大本营

参与 | 赵博 SuiSui

为什么要制作机器人呢？想参加各种机器人大赛？看起来很炫酷？不过从学习角度说，机器人综合了信息技术、电子工程、机械学、程序设计、控制系统以及认知等多方面的内容，所以做一款机器人可以教会你很多的知识。

接下来要说做一款机器人你需要什么样的学习资料？本文包含跟机器人技术相关的一些链接、软件库、论文和其他对机器人技术有用的、有趣链接。

优质资源列表

• Kiloreaux/awesome-robotics – 该项目收集了大量机器人入门的资料，包含课程、电子书、软件、期刊、行业竞赛和开源库等等。 https://github.com/Kiloreux/awesome-robotics
• RoboticsLibraries – 列举了大量非常棒的机器人开源库和软件，并标出了开源库的受欢迎程。 https://github.com/jslee02/awesome-robotics-libraries
• Computer Vision – 计算机视觉相关的课程、电子书、论文、软件、数据库、教程、资源以及博客等。 https://github.com/jbhuang0604/awesome-computer-vision
• Deep Learning – 神经网络（收集了深度学习相关的课程、电子书、论文、软件、教程、框架、学者、数据库等。） https://github.com/ChristosChristofidis/awesome-deep-learning#researchers — TensorFlow – 机器智能软件库（TensorFlow Awesome系列，包含大量教程、模型、库、视频、论文、博客以及电子书等。） https://github.com/jtoy/awesome-tensorflow — Papers – 引用次数最多的深度学习论文 https://github.com/terryum/awesome-deep-learning-papers
• Deep Vision（Deep Vision Awesome系列，包含大量分类论文、教程、库、视频、博客以及电子书等。） https://github.com/kjw0612/awesome-deep-vision

模拟器

• Microsoft Airsim – 微软开源的一款基于虚幻引擎的模拟器，用于促进自动驾驶技术的研究，为无人驾驶提供真实的模拟环境、动力等等。 https://github.com/Microsoft/AirSim
• Bullet Physics SDK – 实时碰撞检测和多物理环境模拟，用于虚拟现实的多物理场模拟、适用于VR、游戏、视觉效果、机器人技术、机器学习等。 https://github.com/bulletphysics/bullet3

机器学习

TensorFlow相关

• Keras – Python深度学习库，包含卷积神经网络，循环神经网络等，使用TensorFlow或者Theano框架。 https://github.com/ahundt/awesome-robotics/blob/master/keras.io
• keras-contrib – Keras社区贡献 https://github.com/farizrahman4u/keras-contrib
• TensorFlow – 机器智能开源软件库 https://github.com/ahundt/awesome-robotics/blob/master/tensorflow.org
• recurrentshop – 使用Keras构建复杂循环神经网络的框架 https://github.com/datalogai/recurrentshop
• tensorpack – 基于TensorFlow的神经网络工具箱 https://github.com/ppwwyyxx/tensorpack
• tensorlayer – 适用于研究人员和工程师的深度学习与增强学习库 https://github.com/zsdonghao/tensorlayer
• TensorFlow-Examples – 为初学者提供的TensorFlow手册与实例 https://github.com/aymericdamien/TensorFlow-Examples
• hyperas - Keras + Hyperopt：方便超参数优化，封装简单 https://github.com/maxpumperla/hyperas
• elephas – 使用Keras & Spark进行分布式深度学习 https://github.com/maxpumperla/elephas
• PipelineAI – 端到端机器学习与人工智能平台，实时的Spark与Tensorflow数据通道 https://github.com/fluxcapacitor/pipeline
• sonnet – 基于TensorFlow的Google Deepmind 应用程序接口,用以构建复杂的神经网络。 https://github.com/deepmind/sonnet

图像分割

• tf-image-segmentation – 基于Tensorflow 和TF-Slim 库的图像分割框架 https://github.com/warmspringwinds/tf-image-segmentation
• Keras-FCN https://github.com/aurora95/Keras-FCN

日志和消息

• spdlog – 超快的C++日志库 https://github.com/gabime/spdlog
• lcm – 用于高带宽和低延迟的实时系统，实现轻量级通信和编组、消息传递和数据编组。 https://github.com/lcm-proj/lcm

跟踪

• simtrack - 一种基于仿真的跟踪框架 https://github.com/karlpauwels/simtrack
• ar_track_alvar - 用于ROS的AR标记跟踪库 https://github.com/sniekum/ar_track_alvar
• artoolkit5 - 增强现实工具包，具有优秀的AR标签跟踪软件 https://github.com/artoolkit/artoolkit5

机器人操作系统

• ROS – 机器人操作系统主页 https://github.com/ahundt/awesome-robotics/blob/master/ros.org
• ros2/design – ROS 2.0设计文档 https://github.com/ros2/design

运动学，动力学，约束优化

• jrl-umi3218/Tasks – 使用了约束优化的机器人实时控制与运动学树库 https://github.com/jrl-umi3218/Tasks
• jrl-umi3218/RBDyn – RBDyn提供一组用于刚体系统动力学建模的类和函数 https://github.com/jrl-umi3218/RBDyn
• ceres-solver – 求解有界约束和一般无约束优化问题的非线性最小二乘问题 https://github.com/ceres-solver/ceres-solver
• orocos_kinematics_dynamics - Orocos运动学和动力学的C++库 https://github.com/orocos/orocos_kinematics_dynamics
• flexible-collsion-library – 在一对由三角形组成的几何模型执行三类临近查找，集成在ROS中 https://github.com/flexible-collision-library/fcl
• robot_calibration – 用于ROS的通用机器人运动学标定 https://github.com/mikeferguson/robot_calibration

标定

• handeye-calib-camodocal – 通用的机器人手眼标定 https://github.com/jhu-lcsr/handeye_calib_camodocal
• robot_calibration – 用于ROS的通用的机器人运动学标定 https://github.com/mikeferguson/robot_calibration
• kalibr – 用于ROS的摄像机和IMU标定 https://github.com/ethz-asl/kalibr

增强学习

• gqcnn - Grasp Quality Convolutional Neural Networks (GQ-CNNs)使用训练集从Dexterity Network (Dex-Net)中抓取规划 https://berkeleyautomation.github.io/gqcnn/info/info.html
• Guided Policy Search – 引导策略搜索（GPS）算法和基于线性二次高斯控制的轨迹优化，旨在帮助其他人在对已有工作理解、重用和构建。 https://github.com/cbfinn/gps

视频/显示/渲染

• Pangolin – 一种轻量级的便携式快速开发库，用于管理OpenGL显示/交互和提取视频输入 https://github.com/stevenlovegrove/Pangolin

传感器、设备和ARM驱动程序

• libfreenect2 – Windows Kinect V2与Xbox One设备开源驱动 https://github.com/OpenKinect/libfreenect2
• iai_kinect2 – 在ROS中使用Kinect One (Kinect v2)的工具 https://github.com/code-iai/iai_kinect2
• grl – 通用机器人技术库：用于Kuka iiwa和Atracsys FusionTrack跨平台驱动程序，具有可选的v-rep和ros驱动；同时也有跨平台手眼标定与工具提示标定。 https://github.com/ahundt/grl

数据库

• pascal voc 2012 - 经典的参考图像分割数据库 http://host.robots.ox.ac.uk/pascal/VOC/voc2012/
• openimages – Google庞大的ImageNet风格数据库 https://github.com/openimages/dataset/
• COCO – 目标分割、关键点和许多其他外部数据库的链接 https://github.com/ahundt/awesome-robotics/blob/master/mscoco.org
• cocostuff - COCO附加的全场景分割，包括背景和注释 https://github.com/nightrome/cocostuff
• Google Brain Robot Data - 包含抓取、推和浇注的机器人数据库 https://sites.google.com/site/brainrobotdata/home
• Materials in Context - 23类真实图像的材料数据库 http://opensurfaces.cs.cornell.edu/publications/minc/
• Dex-Net 2.0 - 670万对合成点云和具有鲁棒性标签的抓取 http://bair.berkeley.edu/blog/2017/06/27/dexnet-2.0/

数据收集

• cocostuff - COCO 额外的全场景分割，包括背景和注释 https://github.com/nightrome/cocostuff

线性代数与几何

• Eigen – 线性代数C++模板库，包含矩阵、向量、数值求解和相关算法 https://github.com/ahundt/awesome-robotics/blob/master/eigen.tuxfamily.org
• Boost.QVM – 用于Boost的四元数、向量、矩阵库 https://github.com/boostorg/qvm
• Boost.Geometry – 包含可实例化的几何类，但是库用户也可以使用自定义的类 https://github.com/boostorg/geometry/
• SpaceVecAlg – 实现三维几何的空间向量代数，使用了Eigen3 线性代数库 https://github.com/jrl-umi3218/SpaceVecAlg
• Sophus – Lie Groups（用于三维几何）的C++实现，使用了Eigen https://github.com/strasdat/Sophus

点云

• libpointmatcher - 一个“迭代最近点”的机器人库和二维/三维映射 https://github.com/ethz-asl/libpointmatcher
• Point Cloud Library (pcl) – 点云库（PCL）是一个独立的、大规模的、开放式的二维/三维图像和点云处理项目。 https://github.com/PointCloudLibrary/pcl

同时定位与地图绘制（SLAM）

• ElasticFusion – 实时的密集视觉SLAM系统 https://github.com/mp3guy/ElasticFusion
• co-fusion – 多目标实时分割、跟踪和融合，ElasticFusion的扩展 https://github.com/martinruenz/co-fusion
• Google Cartographer - Cartographer提供了实时的二维和三维SLAM系统，可以跨多个平台和传感器配置 https://github.com/googlecartographer/cartographer/
• OctoMap – 一个有效的基于概率三维映射框架，包含主要的OctoMap库， viewer octovis以及动态EDT3D. https://github.com/OctoMap/octomap
• ORB_SLAM2 – 实时SLAM，用于单眼、立体、RGB-D相机，包含循环检测与重定位功能

原文地址：https://github.com/raulmur/ORB_SLAM2