【20250101】Nature正刊：纯仿真强化学习得到外骨骼机器人的自适应控制策略

基本信息 

论文标题：Experiment-free exoskeleton assistance via learning in simulation

发表期刊：Nature

发表时间：2024年6月12日

访问链接 

论文：https://www.nature.com/articles/s41586-024-07382-4?fromPaywallRec=true

代码：https://github.com/IntelligentRobotLearning/pseudocode_learning_in_simulation

科学问题 

该论文针对助力型外骨骼机器人在户外复杂地形场景中的自适应控制方法研究，以实现以下3个目标：

提高开发效率：通过在仿真中进行学习，避免传统方法中繁琐的数据采集及曲线拟合的方式；

提高适应性和通用性：适应多种运动模式（步行、跑步和爬楼梯）并在模式之间平滑过渡；

提高外骨骼的助力效果：通过对人体代谢率的测量，验证外骨骼在三种运动模式下的助力效果。

核心思路 

1. 数据驱动的动态感知方法

利用人体运动捕捉数据和肌肉骨骼模型，构建了一个能够模拟人类运动和肌肉激活的仿真环境。通过将物理模型融入强化学习过程，提高仿真的精度和训练数据的效率，使得学习过程更加高效和真实。

img2. 引入强化学习框架

提出了3个相互关联的多层感知器神经网络（模拟运动神经网络、肌肉协调神经网络和外骨骼控制神经网络），分别用于模仿人类运动、协调肌肉活动和控制外骨骼。

通过在仿真中进行数百万次的迭代训练，这些神经网络能够学到有效的控制策略，并在不同运动模式下自动生成辅助力矩。

img3. 纯仿真环境的模型学习过程

提出了一种完全基于仿真学习的方法，不需要进行实际的人体实验，从而克服了传统方法中对大量人体实验的依赖。在仿真中进行学习的控制策略可以直接部署到实际的外骨骼设备上，并通过IMU传感器的数据进行实时控制，实现了仿真到现实的无缝迁移。

img实验结果 1. 实验仿真环境

人体肌肉骨骼模型：模型具有50个自由度和208个骨骼肌，能够模拟人体在不同运动状态下的生物力学反应。

外骨骼机器人模型：模型包括外骨骼的机械结构和动力学特性，能够模拟外骨骼在辅助人体运动时的行为。

img

经过8小时都纯仿真学习（单机，RTX3090, NVIDIA），算法可以成功收敛，完全不需要在真实场景中进行模型的参数学习。

2. 在真机上的最终验证

外骨骼设备：髋关节助力型外骨骼机器人，重量约为3.2kg，能够产生最大18N·m的扭矩。

IMU传感器：在每条腿上安装一个九轴惯性测量单元（IMU）传感器（LPMS-B2, LP-Research）

img

在实验结果分析中，相比于其他方法，本论文提出的算法的最大特点是不需要对模型进行预训练，且所有的训练过程都是在仿真环境中完成的。

最终学习得到的模型也可以直接迁移到真实的外骨骼机器人上，并在户外的多种场景中进行步行、跑步、上下楼梯等场景测试。

img

实验展示视频如下：