George Hotz：请收下我的智驾系统代码（附论文）

【新智元导读】我知道以GeoHot的脾气，最终 comma.ai 全套AI模型的代码肯定会被他开源，但我没想到会这么快，而且我也没想到这么完备，几乎毫无保留，多达80G的驾驶数据，模型以及论文全部开放，黑客精神在这位老兄身上的到了淋漓尽致的体现。本文结合GeoHot此次发表的论文和代码，讲解此前为Bloomberg演示时所采用的深度学习框架。代码采用Python语言编写，涉及tensorflow，anaconda，cv2等多个常用深度学习常用开发框架，是不可多得的学习材料。

桀骜不逊的自动驾驶破局者

智驾深谈的第一期，就是关于这位老兄George Hotz，江湖人称GeoHot，“声名狼藉的”iPhone和PlayStation破解者，做过多家IT帝国的被告。几个月前研究上了自动驾驶技术，紧接着就公然挑战Tesla、Google和Mobileye，自嘲是个“智痴（I'm an Idiot.）”，而其他家的水平，只能算是智障。Musk发邮件邀请他去Tesla，被他拒了，声称自己年底就要出不到一万人民币的产品，而且效果绝对秒杀。四月初拿到了310万美元融资，并在拉斯维加斯正常车流中，GeoHot演示了目前的技术进展，完成度颇高，只用了一个前置摄像头，以及一个草草贴在前保险杠上的毫米波雷达。

深度学习端到端：开源概况

此前我提过，目前的自动驾驶技术可以划分为两类，一种是感知-决策-控制然后不断闭环，每个模块用不同的方法力争最好，很多情况下需要专家提供基于经验的规则。另一种则是GeoHot正在采用的办法，叫做End-to-End，端到端方法，指以摄像头的原始图像作为输入，直接输出车辆的速度和方向，中间用某种数学模型来拟合逼近最优驾驶策略，目前常用的就是深度学习模型。

本次GeoHot开源的东西非常丰富，包括下面几个内容：

• 七小时十五分的高速公路图像数据
• 两种使用该数据的机器学习实验方法
• 一篇利用深度学习RNN网络进行自动驾驶的论文（在新智元公众平台回复0806下载）
• 整套试验代码包括tensorflow，anaconda，keras等常用工具的用法

这些材料，足够读者复现GeoHot为Bloomberg演示的效果，比起此前Mobileye或者Nvidia光发布论文前进了一大步。

深度学习端到端：数据准备

驾驶数据是本次开源的重要组成部分，不但包括前视摄像头裁剪的数据，共计7.25小时，分为11个视频，160*320大小，并且还包括了GeoHot那辆讴歌采集的转向、制动、速度以及惯导数据，以及图像输入和控制输出的同步时间戳数据。本次发布的论文主要聚焦在通过图像输入来学习控制转向和速度，GeoHot将图像缩小为80*160并将像素值归一化。

深度学习端到端：模型介绍

目前深度学习用于自动驾驶可以大概分为两类，一类是收集驾驶数据，离线训练模型，不断逼近人类驾驶员；另一类是在模拟器中，利用Q函数，不断自我决策和试错来提高驾驶技术。由于真正图片的复杂以及输出命令的连续性，使得现实世界中能够得到好结果比较困难，所以我们目前见到的很多都是在模拟器中尝试。

本次GeoHot开源的是第一种方法，且是在真实道路上经过实测的。其基本原理是，将摄像头获得的图像数据，利用Autoencoder编码（如上图锁匙，期间还用到最近很火的GAN），然后用一个RNN深度网络来从人类驾驶数据中学习，最终预测下一步操作。

深度学习端到端：代码概要

从代码结构上来看，大概可以分为数据、模型和训练框架三部分，其中模型部分包括了autoencoder和RNN，训练框架则以server.py文件作为入口。

结语

我非常惊讶于GeoHot做出这次开源的决定，看过论文和代码之后，相信复现他们演示结果并不是一件很难的事情，算是让大部分想要尝试深度智驾模型而又无从下手的人得到了福利。那么开源是否会对整个智驾产业带来影响呢？如果你觉得GeoHot还不够强的话，Google未来开源了会不会有影响呢？谁也很难说智驾不会像智能手机一样，成为下一个兵家必争之地。