Adaptive neural control using RL for manipulator

今天给大家分享了一篇基于强化学习的自适应神经元控制的论文——《Adaptive neuralcontrol using reinforcement learning for a class of robot manipulator》。

首先是文章的背景以及作者的主要研究内容。作者指出了目前对输入死区问题的研究还不够透彻，很少同时考虑非线性系统中存在输入死区且包含未知函数的最优控制问题。文章研究存在输入死区和未知函数的连续机械臂系统，采用神经网络近似未知函数和强化信号，死区输入未知但有界。使用RL设计最优控制器。

接着是文章中对控制对象的描述，主要考虑多连杆刚性臂，并定义输入死区的描述函数。根据分段函数的描述整理成统一的表达式，并假设系统的干扰是有界的。

第三个部分主要介绍控制系统的设计，定义了系统的跟踪误差以及误差度量，重新整理得到系统的动力学表达式，分离出未知函数部分。由于未知函数无法直接获得，文章采用NN对未知函数进行近似，最终推导得到系统的控制率。采用评价NN定义强化信号，根据强化信号和未知函数的近似值调整两个NN的权值，以完成自适应控制。

第四部分是文章的仿真实验部分，采用两连杆机械臂作为仿真对象，分别比较了关节的期望位置和实际位置，权值变化以及力矩变化等变化情况。最后为文章的结论和展望。文章的PPT如下：