编辑:编辑部
当地时间8月26日,马斯克亲自上线开启了一场FSD Beta V12试驾直播,引百万人现场围观。
据称,FSD Beta V12是有史以来第一个端到端AI自动驾驶系统(Full AI End-to-End),是特斯拉最重要的一次升级。
直播45分钟,FSD Beta V12系统在行驶全程进展非常顺利,能够轻松绕过障碍物,识别道路各种标志。
马斯克激动地表示:
V12系统从头到尾都是通过AI实现。我们没有编程,没有程序员写一行代码来识别道路、行人等,全部交给了神经网络。
具体来说,V12的C++代码控制减少了10倍,从2万多行减少到2千行。
独特的地方在于,特斯拉99%的决策都交给神经网络给出,视觉输入,控制输出,就像人类大脑一样。
另外,它所拥有的超强能力,是经过巨量的「视频数据」、1万个H100加持下完成的。
不过,直播中,V12出现仅有一次的小失误,试图闯过红灯,让人类去主动干预。马斯克现场来了个紧急刹车。
马斯克表示,FSD Beta V12仍在调试中,因此还没有确定正式发布的时间。
马斯克:我们没有编程
马斯克这场实时直播,出发点是特斯拉总部。
马斯克单手开启特斯拉Model S后,全程45分钟,自己举着手机录下V12的行驶全程。
马斯克在地图上随机选择了一个目的地——斯坦福。看看V12是如何带他去往第一个目的地。
行驶中,马斯克称,特斯拉遇到的这些建筑、道路标志,是从未见过的。虽然离总部很近,但是对其来说还是新事物。
走到交叉路口时,特斯拉主动停了下来,并耐心等待信号灯变化。
马斯克笑着调侃道,它做到了!
绿灯后,特斯拉平稳地进行了左转。
马斯克表示,这完全是通过人工智能和摄像头实现的,就如同我们大脑运作方式一样,对应之为神经网络和眼睛。
遇到减速带时,V12让汽车缓慢行驶。
马斯克激动地称,没有一行代码让特斯拉,在停车标志处停车,或等待另一辆车,没有「等待x秒」之类代码。这都是神经网络,除了神经网络什么也没有。
说着说着,第一个目的地斯坦福到了。马斯克还是惦记着和小扎来场笼斗,因此第二个目的——小扎的家。
然后,他输入了小扎家的地址,让V12加持的特斯拉带路。
路上,特斯拉绕着一个环形交叉路口行驶时,V12再次展示了顶级水平。
在等待前两辆车开走后,然后决定转弯行驶。
这里,马斯克再次重申道,团队从未对环形交叉路口的概念进行编程。我们刚刚向它展示了一堆关于环形交叉路口的视频。
简之,V12是通过大量的视频训练数据来实现这一目标。
FSD AI现在只输入大量视频,以便识别在不同情况下需要做什么,而不是对每个道路元素或情况进行单独编码。
这使得特斯拉能够省去FSD V12中的数十万行代码,使其更加轻便、更灵活,同时它仍然可以在不熟悉的地形上无需数据连接的情况下工作。
马斯克介绍,所有这些都是在Tesla HW3上完成的,推理计算功率约为100瓦。所有推理无需网络连接,在本地进行。显然这是必要的,如果没有互联网连接,你就无法安全驾驶。
停车后,马斯克还谈到了特斯拉的帧率。
我们正在以全帧率运行。8个摄像头以每秒36帧的速度进行拍摄。纯AI版本比「普通软件和人工智能混合」的版本运行得更好更快。 事实上,它的拍摄速度将超过每秒36帧,只是摄像头只能达到36 fps。据我们推算,它可能以每秒50帧的速度拍摄,实际路况基本上只需要每秒24帧,FSD V12就可以正常工作。
小扎的家到了,马斯克没有下车,反而转身决定去下一个目的地Palo Alto。
直播中,马斯克还展示了V12到达目的地后,自动将车停到合适的位置。
「视频数据」直接训AI
马斯克曾表示,FSD V12将成为4级自动驾驶系统。
在今年6月底,马斯克就宣称,Tesla的自动驾驶FSD V12版本将不会再是测试版。
直播演示中,马斯克也提到了对于通过AI训练视频数据来实现自动驾驶这个方向可能面对的挑战。
「仅仅因为没有代码行并不意味着它不可控。现在只需拥有数据,你仍然可以实现控制。」
首先是,训练视频的质量非常重要,所以只能用优秀司机的驾驶视频来训练,而不能用技术不好的司机的数据。
当前,已经有相当多的软件可以实现选择什么数据、训练什么数据。
所以数据量不重要,数据的质量才是提供安全自动驾驶技术的关键。
对于汽车来说,能够运行的软件很小,但后端训练的软件要大得多,更加复杂。
因此,V12系统使用了Python的普通软件来决定从队列中选择哪些数据,然后确定什么是高质量数据,什么是相当好的数据。
一旦有了AI模型,还可以将这些模型以「影子模式」(shadow mode)传送到系统上,然后每次它与用户所做的事情不一致时,特斯拉都会得到数据,这比仅仅收集随机数据更有价值。
用V12的FSD可以识别人像,只要传一张照片,然后告诉汽车你在星巴克门口。车到了之后会找到你,接你上车。因为它可以自动找到星巴克,然后根据照片找到乘客。
马斯克表示,我们实际上对系统拥有一个非常快速的良性循环反馈感到兴奋。
当人类对汽车进行干预时,干预行为就会自动上传,训练与训练相结合,然后实际上只是更新权重。
在V12的编程中,特斯拉团队并没有加入交通信号灯概念,而存在于V11的普通堆栈中。
汽车能够流畅行驶,主要是基于视频训练。
「我们已经从V11的显式控制堆栈中的超过300,000行C++进行了转换,而在V12中基本上没有这些内容」。
还有一个有趣的困难是,对于停车问题,因为人类在遇到停车标识时不会真的停下来,只会降到很低的速度,大概只有不到1%的驾驶员会完全让车停下来。
但是监管机构要求必须完全停下来,这样就必须专门训练FSD在这些情况下完全停车。
直播中唯一一次干预,是由于搭载了V12系统的Modle S在遇到红灯时并没有停下来。
对此,马斯克现场表示,我们只需要再多喂一些包含大量交通信号灯的视频,问题就能解决了。
未来两周,特斯拉将会发布在后台运行的Shadow Moon,能够对行驶状况进行检查。
另外,马斯克提到这套系统有一个问题是如何应对低能见度的驾驶条件。
因为特斯拉所在总部加州从不下雨,所以需要世界各地各种天气条件的驾驶视频进行训练。
目前,FSD V12在全球有12名试驾人员,遍布新西兰、泰国、挪威和日本等地。
1万个H100训练,Infiniband比GPU还缺
他还在试驾直播之前串进了WholeMars的Space,和里面的开会的网友聊了10多分钟,为自己的直播预热。
网友看到他进来了,就不自觉地开始采访他,他也顺势打开了话匣子,和网友聊了聊自己马上要进行的直播和相关的问题。
首先他说特斯拉已经马上要上线由10000块H100组成的GPU集群,来训练新版本的FSD系统。
现在训练过程基本上都要全完依赖英伟达的GPU,只有很少一部分会使用自己的超算Dojo。
而目前他们遇到的最大技术困难是需要像Infiniband那样的高速网络连接来并行更大的算力。
GPU虽然短缺,但是至少有改善的希望,但是现在支持Infiniband设备短缺比GPU的短缺还严重。
大规模密集型的计算集群之间的数据交换会很困难。
而对于英伟达的依赖会持续很长的时间。
聊着聊着,马斯克又不自觉地进入了地球球长的角色,说到:
而长远来看,未来人类会成为强计算依赖的文明,有80%-90%的能源消耗在计算之上。
所以改善现有计算基础设施的能效比是很重要的事情。
Transformer的能效比不太好,效率也不高,用户使用的延迟过长,需要进一步的优化。
GPU的能耗比也不太好,而且现在像H100这样的GPU已经不会输出图像了,所以叫GPU已经不太合适了。
马斯克还在推上表示,使用自回归Transfomer的LLM能效极差,不仅在训练中如此,在推理中也是如此。我认为它偏离了几个数量级。
接下来,马斯克就开始为他即将进行的直播造势,聊起了自己将演示FSD V 12的上路直播。
他反复强调Tesla在新版FSD的加持之下,将会带来非常顺滑的乘坐体验。
能够模拟优秀的司机来驾驶汽车,不会像之前的系统一样偶尔显得像一个新手开车一样。
聊到这里,他拂袖而去,最后只留下一句话,让大家赶紧去看他马上开始的自动驾驶的直播。
不得不说,公关流量这一块,马老板玩得是明明白白的!
网友热议
看完这次的直播之后网友纷纷表示,一切看起来都很nice!
不用联网实在是太棒了。
还有人称,简直就是DriveGPT。
目前看来没有任何自动驾驶技术能接近这个表现。
但也有网友表示,V12的新任务是接受亚洲交通的考验,并上了一段中国某路口的视频......
这位网友贴心地总结出了他认为视频中的亮点:
特斯拉的推理只需要100w的功率支持,不用联网
能自动处理环岛,自行车,行人。
所有的训练都是基于英伟达的GPU和Dojo,而且AI驾驶连地图都不需要,只需要GPS数据就行。
参考资料:
https://twitter.com/elonmusk/status/1695247110030119054