强化学习在城市交通中的应用

强化学习在城市交通中的应用

RL APPLIED IN URBAN TRAFFIC

路径规划

城市交通路径规划需要考虑规划的快速性和车辆的安全性，而目前大多数强化学习算法不能兼顾两者。路径规划问题是人工智能领域热点问题，该问题涉及许多领域，包括：移动机器人导航、飞行器航迹规划、游戏自动导航以及车辆交通导航等。如今，城市交通路径规划在提升交通系统运行效率方面正发挥着越来越重要的作用。结合城市交通特点，可以总结出城市交通路径规划问题的规范化定义：将指定某一车辆作为智能体，目的是让智能体从规定范围内的状态找到一条从起始状态到目标状态的一条无障碍路径。

其中如何提高路径规划算法的效率成为亟待解决的问题，路径规划算法使用高效的规划算法来为智能体车辆选择合理的导航路径，从而减少车辆在城市道路上运行的时间，提升城市道路的运行通畅度。

强化学习应用

目前，路径规划问题已经得到许多学者的关注，有一些成功的研究成果，具体可以分为全局规划和局部规划。全局规划的算法包括 A*算法以及它的各种改进版本等，这些算法已经在离线静态环境中表现出优异的效果。对于动态环境，有学者提出了一种在动态图中识别 K-最短路径的分布式算法（K Shortest Path in Dynamic Graph，KSP-DG），能够在动态道路网环境找到多条最短路径。但是这些算法过于依赖环境数据，需要在大量数据支持下才能完成路径规划，而且在未知环境下的效果较差，无法应用在环境变化的情况下。局部规划包括神经网络法、遗传算法以及强化学习算法等。其中强化学习算法由于无需环境的先验知识，已经得到了广泛的应用。

通过将强化学习算法应用到路径规划算法中，能够有效帮助车辆的行驶路径规划，同时对道路未来通行状态的变化加以考虑，从而能够进一步提高选路算法的合理性，对于缓解城市交通拥堵有着重要的现实意义。因此提出了一种在道路交通网环境下基于强化学习的车辆路径规划算法，采用将基于模型的算法和模型无关的算法相结合的 Dyna 框架可以提高规划的速度，同时较为经典的 Sarsa算法作为选路策略可以提高算法的安全性。

与现有其他算法相比，基于强化学习的路径规划算法有如下特点：1）大部分的路径规划环境是未知的，需要算法建立到模型上再进行路径搜索，而模型无关算法可以在未知环境工作，算法具有自适应能力；2）一些路径规划算法能够找到最优路线，但是可能会经过较多的时间，这可能造成资源浪费，强化学习算法能够找到一条相对较快且较优的路线，同时提高路径规划的安全性；3）强化学习是一个不断尝试的过程，通过不断与环境交互来找到最优策略，这样产生的策略对于智能车来说一定是可以完成的，不会因为路径太复杂导致无法执行。仿真实验表明：相对于经典的路径规划算法，基于强化学习的路径规划算法能够真实地模拟智能车辆的实际行驶状态，有效减少环境中车辆行驶时间开销，提高城市交通运行效率。