基于强化学习的高速列车群运行调整方法
作者:代学武; 程丽娟; 崔东亮; 俞胜平; 袁志明; 应志鹏
更新时间:
随着我国高速铁路网的建设和交通密度的不断提高,突发事件导致列车延误时,交通调度的复杂性和难度急剧增加。如何动态调整列车编组的运行以减少延误,本文提出了一种无模型强化学习方法,用于紧急情况下高速列车编组的运行调整。首先,将多列车在多个车站和区间的运行调整建模为资源占用和分配受限的多阶段序贯决策过程,提出了一种基于动态时空拓扑矩阵的车站和区间统一建模方法。针对高速铁路列车群的强时空相关性,首次提出了包含车辆位置和路网资源等时空分布信息的增强学习状态空间、行为空间和反馈函数,并构建了有效的奖励反馈机制。然后,针对高速铁路运营系统中搜索空间的巨大困难,提出了一种启发式动作子空间自适应生成方法,该方法利用一些显式静态约束构造启发式规则,减少了搜索空间,有效减少了无模型强化学习的尝试次数和错误次数,提高了求解效率,并保留了无模型强化学习具有良好通用性的优点。最后,基于京广高铁实际情况的仿真分析表明,在不同时间和空间的强风速限制情况下,导致多车延误的情况下,提出的算法能够很好地收敛,显著减少列车群中的延误传播。与MILP、ACO和FCFS的方法相比,列车组的平均晚点时间可减少2%~20%