【智驾深谈】李德毅院士：深度学习将成为智能驾驶的新维度

【新智元导读】最近在北京参加《智能驾驶深度学习研讨会》，跟很多高校和企业的同行聊了半天。大家一致的观点是，鉴于深度学习技术在各个领域的碾压性优势，它恐怕会成为智能驾驶领域的杀手锏了。个人觉得这是毫无疑问的，从来没见过表征能力这么强还这么省心的模型啊。本期智驾深谈，经李德毅院士许可，将他在会上的研讨报告总结成文，记录院士对深度学习落地智能驾驶领域的看法。

【特约编辑】小猴机器人，人工智能博士，自动驾驶技术爱好者，参与多个自动驾驶项目研发，有丰富的行业经验，尤其对决策规划控制方面了解深入。

上期智驾深谈聊到智驾三层次：感知层、认知层和行动层。

实际上感知层面上，无论车道线、交通标志还是车辆识别，都已经大规模采用了深度学习技术；行动层由于汽车工业百年的发展和积淀，已经可以很好地由现代控制理论解决；所以就剩下认知层，还真是个大号的硬钉子。

一个好的认知模型需要对环境有精准的理解和预判，还需要据此做出下一步的决策和规划，这里面的挑战就是复杂的动态交通环境。在深度学习出现之前，很难有一个模型能够很好地对此建模、预测和决策。而李德毅院士的工作，就聚焦在利用深度学习技术，解决智能驾驶中认知的问题。

按照院士一贯简洁的演讲风格，报告围绕“自学习”（Self-Learning）问题，很清晰地划分成三个部分：谁教谁、学什么、怎么学。

谁教谁

院士首先就说明了，目前业界还是程序员通过程序教车的状态，即启动计算机程序，让汽车自动开，如果程序出现问题，则由程序员来调试参数这一循环过程。这样的研发过程是逐步形成的，他随后介绍了百年汽车工业核心竞争力转移，表示汽车这个曾经改变了世界的机器，现在正在被软件所改变。目前，行业已逐步从机械、电子、能源重构转向软件重构，智能驾驶的春天到来了。

当前，高级辅助驾驶（ADAS）正值繁荣期，智能驾驶已成为全球一流车企的技术标杆，车企纷纷在自己品牌车型中添加自动驾驶要素，千方百计提高传感器性价比，重点放在传感器的感知处理芯片上，实现软件固化，感知信息直接进入CAN总线，降低成本，保持品牌优势，拉长汽车产业发展的繁荣期 。人工孤立驾驶的时代将一去不复返，驾驶员会从低级、繁琐、持久的驾驶活动中解脱出来，而汽车终将转型为轮式机器人，而提到机器人，人工智能学家和深度学习技术的机会就来了。

虽然形势一片大好，但汽车产业还是稳妥为主，普遍认为无人驾驶可望不可及，涉及到法规、伦理和车联网安全，不看好完全不设方向盘的无人车，主张双驾双控，推广自动驾驶模式。自动驾驶科目层出不穷，渐进添加如车道偏离预警、防前车碰撞预警和盲区检测等系统。

但是，目前程序员教车这个模式是有问题的。院士现场展示了一个由自动驾驶汽车和人类驾驶员构成的模拟混合交通场景，多辆自动驾驶车和两辆人工驾驶车混合行驶，自动车受到人驾车干扰，要实时判断人驾车的各种驾驶行为，选择合适的道路与驾驶方式，穿插在不同车道上行驶，而最后自动驾驶模式几乎全部退出。

这个结果是令人震惊的，院士的解释是，虽然自动驾驶科目越来越多，但许多科目的实际使用窗口很小很小，因为驾驶活动充满不确定性，窗口条件太脆弱，极易被打碎。车辆行驶过程中充满不确定性，汽车如果是软件定义的机器，任何满足当前驾驶条件的自动驾驶窗口，无法知晓会维持多久，要随时随地准备切转到人工驾驶。因此，“自动驾驶”难自动，只是个陷阱而已。

震撼后从业者需要思考，程序定义的机器应当受到质疑，汽车作为轮式机器人应该有学习能力。于是，院士谈起了AlphaGo和李世石的围棋大战。AlphaGo 突破了传统程序，搭建了两套模仿人类思维的深度神经网络：value networks 承担棋局态势评估， policy networks 选择如何落子。这样的架构使其可以向人类棋手学习，从海量样本的胜局和败局中学，并自动提取规则，进行推理。他又回顾近十年来参加的比赛和里程碑试验，提到智能车各种感知和认知手段，相互依存，彼此缠绕。

智能车表现千奇百怪、反反复复，大家困惑过，迷茫过，试来试去，换车、换平台、加电源、换模块，调参数，通过多车交叉验证和常态试验，悟出一个真理：难为程序员了，智能车不是程序定义的机器，真正能够教机器人开车的应该是经验驾驶员。是的，智能驾驶中的认知任务，也无非就是评估现状和做出决策，AlphaGo同样的技术，可以迁移运用。驾驶活动是人在回路的预测控制，更多的是技巧、记忆和经验，而不是知识、推理和计算。轮式机器人在驾驶员开车时应该能“悄悄地”自学习，把驾驶大数据转化为价值，把驾驶员脑转化为机器驾驶脑，并和机器行为融合在一起，让驾驶员调教机器人开车，让大数据开车，才有可能完美解决驾驶认知任务。

学什么

弄清楚了谁教谁，院士接下来介绍了学什么，他将人工驾驶看做一个预测控制问题，主要使用深度模型学习“驾驶员在回路中的预测控制”。百年汽车人机工程学给了汽车非常好的接口定义，即上期智驾周刊提到的三大控制量：转向、制动和油门。而人工驾驶就是人脑来感知周围的环境，而后理解和预测，做出决策和规划，最后通过三大控制量控制汽车，如此反馈往复。另外，他还谈到，虽然现在端到端技术（参见往期GeoHot和Mobileye智驾深谈）比较火热，但是仍然非常有必要将感知和认知层次分开，而非直接利用传感器的原始输入来直接拟合最后的输出，没有融合和领域指导的直接拟合往往效果不佳。

怎么学

定义清楚问题的输入输出以后，院士给出了自己近年来一直致力的形式化方法，并用实例证实该方法对解决智能驾驶认知问题的有效性。这就是机器驾驶脑，是院士对于驾驶员认知的形式化描述。

实际上，预测控制问题是个寻“的”（目的地）驾驶问题，涉及时变、非线性、有时滞，是多约束条件下的目标优化，包括安全性高、舒适性好和耗油量低等等约束。机器驾驶脑尝试用深度模型尽可能地贴近驾驶员的认知，来完成更复杂情况下的自动驾驶任务。

接下来，到了这次报告最重要的部分，院士给出了驾驶脑落实到智能驾驶任务上的架构图，并突出讲解了“驾驶态势图”这一衔接感知和认知层的抽象数据层，具体来讲，驾驶态势图就是自动驾驶程序的环境理解模型（EnvironmentModel），传感器原始数据经过识别后，有序填写在以车体为坐标原点的方圆200米内的变粒度栅格图中，用于认知决策。

人工驾驶时，将经验驾驶员对油门、制动和方向盘的操控量抽象为认知箭头，与机器视觉形成的驾驶态势图进行一一对应，“悄悄地”生成碎片化的“驾驶态势-认知箭头”图对，然后通过深度学习，生成驾驶认知模型（称作“驾驶记忆棒”）。

更加细化地，院士还给出了智能驾驶中常见的技术模块，如何能够对应到驾驶员认知模型中，很好地阐述了认知模型与数据流和深度模型之间的关联。

结语

当今，深度学习正站在全球人工智能的风口，普遍把人工神经网络用于点云图像识别、完成感知阶段的自学习。而院士团队另辟蹊径，把人工神经网络用于形式化之后的、基于可用路权的驾驶态势图和反映驾驶操作全部内容的认知箭头形成的图对上，用于认知阶段的深度学习，大大减少、简化了实时处理的数据量。据称他们还将在今年继续推进驾驶脑在宇通大客车上的部署和试验，让我们期待院士团队更多更好的产出。