info: Chen L , Lingys J , Chen K ,et al.AuTO: scaling deep reinforcement learning for datacenter-scale automatic traffic optimization[C]//the 2018 Conference of the ACM Special Interest Group.ACM, 2018.DOI:10.1145/3230543.3230551.
在数据中心中,网络流量具有高度集中性、长尾分布性、突发性、时空异质性和大规模性等特征,数据中心的流量优化对网络及其承载的应用的性能有着显著的影响。目前,流量优化主要依赖于手工设计的启发式方法,这些方法相对并不完善,而传统的深度强化学习方法则由于较长的处理时间无法用于数据中心规模的在线决策。
为了提高数据中心的流量优化效果并缩短优化过程的时间,本文致力于研究如何利用深度强化学习(DRL)技术实现自动化的数据中心流量优化,以适应庞大、不确定和多变的数据中心流量,解决时延问题,并达到操作员设定的目标。
主要是针对手工设计的启发式方法其主要问题为:
本文的主要工作是探索如何应用深度强化学习(DRL)技术解决数据中心流量优化问题。通过开发名为AuTO的两级DRL端到端系统,模仿动物的外周和中枢神经系统,并在外周系统引入多级反馈队列,再利用数据中心流量长尾分布,解决了数据中心流量优化中存在的可扩展性的问题,实现了对数据中心规模的流量级流量调度和负载均衡。文章最后还对AuTO进行了实现和小规模部署验证,并取得了符合预期的成效。
通过本文的研究和实现,研究人员展示了使用深度强化学习技术的自动化数据中心流量优化方法的潜力和效果,为提高数据中心性能和效率提供了新的解决方案。