智算中心＋五大模型两支大旗，重感知的毫末城市NOH冲上云端

编辑：Mark

出品：红色星际（ID：redplanx）

头图：毫末智行四位联合创始人图片

说起毫末智行，大家的第一印象是什么呢？

有些小伙伴表示，毫末是一家才成立3年的创业公司，还很年轻，但是锐气十足。特别是过去2年，成为了一个现象级的存在，无论在资本市场的认可度，还是在商业模式的探索，都给行业提供了一种新范式。很多公司，特别是那些商业化探索还不是很成功的公司，大家纷纷开始探索、学习和模仿毫末模式。

也有些小伙伴表示，我对毫末印象最深的就是他们的HAOMO AI DAY活动，作为技术人员，基本每期的活动都会看，毫末的AI DAY活动能把每个技术环节都讲得很清楚，而且经常会提出一些前沿技术的探索和实践。过去2年时间举办了7期技术开放活动，这无论是放在国内，还是放在全球，力度都可以说是空前绝后。

这也反映出毫末智行对于技术的执着追求和信仰。

（毫末智行技术研发成果图片）

毫末智行作为中国第一个大规模投入Transformer架构，率先布局Attention大模型，发布了中国第一个自动驾驶数据智能体系MANA，建设了中国自动驾驶公司首个智算中心，所有的这些都折射出毫末智行在下一盘大棋。

为什么毫末在技术上永远是第一个吃螃蟹的人？

这可能和毫末智行坚持长期主义，善于使用终局思维思考问题有关。对于毫末而言，他首要思考的是拥有百万辆规模的数据时，如何让自己能够低成本高效的处理这些数据。

这对于任何一家中国公司而言，都是不可想象的，就连蔚小理这样的造车新势力也就才二三十万辆的总销量，百万辆的数据规模可能并不是他们目前思考的头等大事，更何况对于一些公司而言，商业化还远远没有开始。

所以你会看到毫末的很多技术理念都和特斯拉相似，甚至有些理念还先于特斯拉发布，这是因为毫末和特斯拉的数据量思考基础是一样的。对于百万辆的大数据，必须采用大模型才可以低成本高效的处理每天数百万个数据集，否则带来的就是浪费。

正如毫末智行CEO顾维灏所言，“如果大家关注过毫末的成长历程，就会发现，我们一直在为自动驾驶3.0时代做准备。在感知、认知、模式建设上，都是按照数据驱动的方式建设的”。

正是大家思考的基础不太一样，所以毫末总是行业第一个实践和应用最前沿技术的公司。

1. HAOMO AI DAY放大招：智算中心和MANA大模型

1月5日，毫末AI DAY再次来袭，这次又是满满的技术干货。

毫末智行重磅发布了已经筹划了近1年的智算中心雪湖•绿洲（MANA OASIS），这将是中国自动驾驶行业最大的智算中心，整个硬件性能在计算能力方面，浮点运算可以达到每秒67亿亿次，存储带宽达到每秒2T，通信带宽方面达到每秒800G，在业界都是属于相当高的水平。

（毫末智行智算中心MANA OASIS图片）

支持百亿级小文件高速读写，每台服务器配置8个GPU卡，通过600G/s的双向NVSwitch高速互联，进行通信；MANA OASIS服务器之间通过4张200G带宽的RDMA网络互联，提供高达800G/s的网络带宽。

至于为什么建立智算中心，用毫末智行董事长张凯的话说，“超算中心会成为自动驾驶企业的入门配置，因为随着城市辅助驾驶系统的推进，数据量会呈现爆发式的发展，毫末有太多的新技术需要进行尝试和迭代，云计算的效率对毫末而言也越来越重要，甚至是毫末最核心的竞争力”。

大规模自动驾驶数据上云将会是自动驾驶公司很大的一个挑战，可能对于其他公司而言目前这个问题还不存在，但对于毫末而言，已经迫在眉睫。

一方面是因为成本问题，随着城市辅助驾驶系统的发展，真正进入大数据时代，处理成本也变得越来越高，只有自建智算中心，才能降低数据的处理成本。现在整个大模型的数据量和模型本身的参数量非常大，差不多能达到千亿级别，这会导致如果用常规的训练方式成本非常昂贵。

另一方面则是可以快速的部署大模型和新算法，人工智能的发展很快，新的算法层出不穷，需要我们尽快引入新的技术和新的模型，同时需要更好的并行计算框架，提高训练效率，减少硬件的浪费。

（毫末智行和火山引擎合作图片）

据悉，在智算中心方面，为了支持多模型训练，毫末最终选择了与火山引擎合作，在高性能算子库方面，毫末已经部署了超过500多个高性能算子，同时整体训练效率提升了100倍。

用毫末团队的话说，我们建设智算中心更多是自己业务发展的需要，循序渐进地执行着我们的战略，但是一不小心做成了中国最大的智算中心，这可能就是坚持长期主义的魅力所在。

伴随着毫末智行智算中心MANA OASIS，毫末发布了5大模型，来应对城市辅助驾驶最难的几个问题。

（MANA 5大模型图片）

第一个难题就是标注成本。在AI领域，标注和训练成本几乎占到了AI领域的大头，其中标注更高，占总成本的三分之二甚至是五分之四以上。所以大家都戏说，有多少智能，就有多少人工。

如果使用传统的方式，面对百万级的大数据，标注成本将会是无限的，所以毫末推出了视频自监督大模型。为了满足把整个数据形态从离散帧到Clip（短视频）的转化，毫末想办法做了一套自动标注的方法。

（视频自监督大模型图片）

经过一个季度的研发测试之后，发现视频自监督大模型的泛化性效果极佳，即使是在一些非常困难的场景，例如严重遮挡的骑行者，远处的小目标，恶劣的天气和光照，都能准确地完成自动标注。目前毫末基本上达到了百分之百的自动化，只需要非常少量的，大概2%的人工做一遍抽检就可以了，人工标注成本降低98%。

第二个难题就是重感知，轻地图的城市辅助驾驶方案，这个方案最难的在于没有高精地图的辅助，有时候车辆会不知道怎么驾驶。在传统的高精地图方案中，大家的做法是通过高精地图来解决红绿灯拓扑关系，在高精地图里面会把红绿灯拓扑关系做进去。

（动态环境大模型图片）

但是对于百城的规模，更大范围的城市辅助驾驶，高精地图显然跟不上节奏，主要原因是城市场景里的道路环境发生变化的频率远远高于高速场景，所以毫末发布了动态环境大模型，让毫末进一步使用重感知技术，降低对高精地图依赖。动态环境大模型可以让毫末的感知能力，像人类一样在标准地图的导航提示下，就可以实现对道路拓扑结构的实时推断。

第三个难题就是无穷无尽的Corner Case。之前这些数据的采集只能通过用户慢慢搜集，但有些Corner Case可能几年也不发生一次，所以毫末推出了3D重建大模型，将NeRF技术应用在自动驾驶场景重建和数据生成中，通过改变视角、光照、纹理材质的方法，生成高真实感数据，实现以低成本获取Normal Case，然后再生成各种高成本Corner Case。

（3D重建大模型图片）

通过一段时间的实践后，毫末发现这个大模型不仅比传统的人工显式建模再渲染纹理的方法效果更好、成本更低，还可将感知的错误率降低30%以上，且数据生成可实现全程自动化，无需任何人工参与。

第四个难题是如何处理异形障碍物，针对城市多种异形障碍物的稳定检测问题，毫末正在思考和探索更加通用的解决方案，所以毫末发布了多模态互监督大模型。通过引入了激光雷达作为视觉监督信号，直接使用视频数据来推理场景的通用结构表达，可以很好地补充已有的语义障碍物检测，还可以有效提升自动驾驶系统在城市复杂工况下的通过率。

（多模态互监督大模型图片）

第五个难题是，如何让自动驾驶开得像老司机一样，同时让驾驶行为具有可解释性，因为人类司机有时候开车是不可解释的，于是毫末推出了人驾自监督认知大模型。通过使用与ChatGPT相似的思路，让模型能够学习到老司机优秀的驾驶策略。

（人驾自监督认知大模型图片）

面对变道行为，现在的自动驾驶基本都是端到端的模仿学习，直接拟合人驾的行为。但这个最大的问题是有点黑盒，不具有驾驶策略的可解释性。为此，毫末借鉴了RLHF人类的反馈做强化学习的方式，训练了一个Reward Model，通过这种方式，毫末在公认的困难场景，例如掉头、环岛等公认的困难场景中，通过率提升30%以上。

人驾自监督认知大模型可以避免手写规则与参数设定的臃肿和自相矛盾，更具有广泛的适用性。

针对这5个大模型，毫末总结道：“视觉自监督大模型基本上用的是全自动化的方法，低成本的解决了Clip形态的问题，针对通用障碍物的识别，我们有多模态的互监督大模型，针对一些Hard Case数据的获取，我们做了3D重建大模型之后，可以修改它的视角、纹理和光照，动态环境大模型做的是整个地图上道路拓扑的实时推断，人驾自监督大模型也是借鉴了现在业界在自然语言处理方面的最新成果，对驾驶决策拟人化做的更好的优化”。

2. 全力冲刺自动驾驶3.0时代

除了云端的大模型需求，车端的大模型也是自动驾驶3.0时代必需品。

（毫末智行冲刺自动驾驶3.0时代）

对于高速场景或者小范围的公开道路而言，小模型小数据还可以应对，但是城市场景的复杂性是高速场景的几百倍，如果使用小模型，还是用传统的单帧图片，很难适应城市无群尽的复杂场景。

只有大模型和真正的大数据，数亿公里以上的辅助驾驶里程所产出的数据，才能真正的快速迭代自动驾驶系统。

小模型一个最大的问题是会经常出现脑补的情况，比如路口没有车道线，它也会补上一个车道线，有时候就补错了。作为中国第一个大规模部署Transformer技术的公司，毫末不但在云端部署了大模型，MANA五大模型也将助力毫末车端感知架构跨代升级。

（毫末智行MANA OASIS系统架构图片）

但正如毫末智行董事长张凯所预测的那样，随着新一代支持Transformer加速的AI芯片的出现和新一代传感器进入市场，大模型在数据合成，知识提取等方面的能力将助力自动驾驶迭代速度实现量级提升。随着车端的算力越来越大，我们在车端用的模型也越来越大，以Transformer为代表的大模型在车端和自动驾驶的应用将会越来越多。

目前，MANA最新的车端感知架构，已经从过去分散的多个下游任务都集成到一起，形成一个更加端到端架构，包括红绿灯、局部路网、预测等任务，实现了跨代升级。通过使用车端大模型，整个车道线的输出视野上会更远，以及车道本身的拓扑结构、准确度会更高。这也意味着毫末的感知能力和产品力将会更强，全力加速迈进全无人驾驶时代。

在向自动驾驶3.0冲刺的过程中，安全始终是毫末坚持的底线，为此毫末自研AEB算法，目前AEB场景库超过12000个，道路验证达数亿公里，也具备整套的MIL、SIL、HIL的仿真测试系统，并在2022年助力魏牌、欧拉、坦克总计四款车型拿到E-NCAP、A-NCAP五星安全认证，成为中国首个自研AEB算法落地海内外的公司，也成为第一个出海欧洲、澳洲的自动驾驶公司。

3. 毫末智行2023年四大战役

2022毫末三大战役稳健收官：毫末数据智能体系MANA学习时长42万小时，虚拟世界驾龄相当于人类驾驶5.5万年，正在加速迈入大模型、大算力、大数据时代；毫末城市NOH软件封版，达到交付状态，目前已开启多城路测，搭载毫末城市NOH的车型将在2023年上市，预计2024年上半年落地城市达到100个；毫末末端物流自动配送车初步完成商业闭环，目前交付超过1000台，截至2022年12月，小魔驼配送的订单量已突破13万单，毫末末端物流配送车商业化进程正在加速。

（毫末智行2023年四大战役图片）

面对2023年，毫末智行制定了四大战役。

第一场战役是智能驾驶装机量王者之战。2023年是毫末智能驾驶装机量的攻坚阶段，毫末将完成多平台、数十款车型、数十个项目的异步并行开发，通过智能驾驶流程化开发和标准化交付，完成智能驾驶产品的规模量产落地。

2022年，毫末已经具备了完整的工程化能力，可以做到超过30个智能驾驶项目的异步并行开发，这种开发能力，国内唯一。同时毫末已经形成一整套高效的智能驾驶产品开发流程，在软件复用层面，统一了当前智驾软件的架构和算法接口，通过中间层将不同厂家传感器的输出内容进行统一抽象，实现了同一套软件算法支持不同厂家、不同接口类型传感器的能力。

并培养了车端工程化、云端工程化和交互工程化全链条的工程化能力，目前毫末已经解决了自动驾驶的规模化部署问题，对于2023年，毫末需要将规模化部署优势转化为数据优势，然后再利用数据优势来进一步扩大规模优势。

第二场战役是MANA大模型巅峰之战。2023年，毫末将在智算中心的助推下将大模型的应用落地进行到底。

数据智能将会成为自动驾驶量产决胜的正负手，搭建高效、低成本的数据智能体系是自动驾驶健康发展的基础，2023年毫末将会持续的优化云端和车端的大模型，真正踏入数据驱动时代，MANA数据智能体系也将成为毫末所有产品进化的核心动力。

第三场战役是城市NOH百城大战。2023年，毫末城市NOH导航辅助驾驶将正式与车主见面，按照有序节奏陆续落地到国内100个城市。

（毫末智行未来规划图片）

按照毫末智行的规划，2023上半年，毫末HPilot 3.0将着重实现复杂障碍物交互升级，提升路口、变道通过性；2023下半年，实现特殊工况处理，开放免教学长距离泊车；2024上半年，毫末将完成HPilot落地中国100个城市的计划，头部城市落地全场景NOH，实现点点互达。在2024下半年至2025上半年，更大规模全场景的NOH将更快落地，毫末HPilot也将全面迈入全无人驾驶时代。

第四场战役是末端物流配送登顶之战。2023年，毫末以规模和成本优势持续助力合作伙伴加速落地无人配送产品和服务，持续引领商超履约和快递接驳无人配送市场。

在末端物流自动配送方面，目前毫末智行可实现年产1万台的无人配送车产能，生产车间占地1万平米，生产线依据“柔性化+定制化”的理念进行设计，符合客户要求的定制化需求，可以实现小批量试制以及规模化的量产。

据悉，毫末的生产基地是目前全球范围内，规模最大的末端物流自动配送车生产制造基地。在2022年，毫末发布了业内首款面向商用市场的10万元级末端物流自动配送车小魔驼2.0，目前小魔驼2.0已经开始稳定量产交付，2023年末端物流自动配送车整体成本将降至10万元，进一步改善生产关系，促进末端物流配送市场的爆发。

（毫末智行10万元级末端物流自动配送车）

正如毫末智行董事长张凯、CEO顾维灏在公司三周年内部信中所说的，“刚刚过去的1000天，毫末智行刚好穿越了一家创业公司的生死线。从0到1，毫末突破了重重技术和商业难关。我们突破了大规模、多车型的自动驾驶量产难关；突破了末端物流自动配送车用车成本高居不下的难关；我们更是在自动驾驶核心AI技术领域突破了大规模数据处理以及大模型算法应用的难关”。

为了应对乘用车自动驾驶竞争的下半场，毫末为此储备了小魔盒3.0计算平台、MANA数据智能体系，中国最大的智算中心，新一代AI自动驾驶大模型以及最强的技术工程化经验。

目前毫末正进入从1到N的快速发展阶段。开放合作、共创共赢是毫末始终坚持的宗旨，在乘用车自动驾驶领域，毫末继续坚持“6P开放合作原则”，与客户伙伴进行各类开放式的合作探索；在末端物流自动配送领域，毫末通过“5S服务体系”，与客户伙伴一起，共同推动末端物流自动配送车的规模化商用的行业进程。

2022年已过，2023年已开启，让我们对毫末拭目以待！

-END-