小鹏Follow特斯拉,中美智驾巨头10年之后再次同频共进

一夜醒来,自动驾驶行业大变天。端到端技术还没普及,新的技术形态又出来了。

前两天,小鹏汽车发布了 “云端基座模型”。希望通过知识蒸馏和强化学习的方式持续提升车端系统的能力上限。知识蒸馏是DeepSeek对Open AI弯道超车的大杀招,如今被小鹏用在了自动驾驶上。

为了开发这个世界基座模型。小鹏汽车专门打造了一座“云端模型工厂”,工厂“车间”涵盖基座模型预训练和后训练(强化学习训练)、模型蒸馏、车端模型预训练到部署上车的全流程生产链路。

小鹏汽车自动驾驶负责人李力耘介绍,小鹏基模是一个以大语言模型为骨干网络,使用海量优质驾驶数据训练的多模态大模型,具备视觉理解能力、链式推理能力和动作生成能力。提升智驾能力上限。

“端到端的车端模型也许可以给大家提供一个非常好的极致的L2的+++的体验,但作为我们自动驾驶人的初心要最终走向L3、L4的自动驾驶。”

李力耘认为,车端训练的算力有限,能够承载的数据量有限,即便端到端技术范式下,智驾的能力也不会太高。小鹏希望通过“云端基座模型”训练更多的数据,无限提升智驾的能力上限。

它可以理解成一个云端大模型,大模型结构的第一层采用Encoder编码器,对所有信号进行融合。你没有看错,是各种信息,包括视频信号,以及导航音频、车载视频,甚至耳朵、超声波雷达、毫米波雷达听到的各种信号。目前能够处理的参数量达到720亿参数(一个模型是72B),VLA模型参数差不多在1B-2B之间,大概是35倍的差值。

接下来就来到了最核心的部分,小鹏通过语言大模型(LLM)让各种各样的传感器信息、元素对齐,使它能够作为标准化“符号”被处理,这样大语言模型就具备了推理能力,以及持续的思维链能力,通过前方车辆的绕行推测前方可能有障碍物,进而推理出前方施工等场景,从而提前做出应对。

经过Encoder(编译器/编码器)到语言大模型之后,模型会变成一个聪明的学生或者刚入行的聪明的青年教师。经验少,但是天赋高。然后再通过高质量数据的方式强化学习让系统变成一个经验丰富的老教授先放到车端。

强化学习是大模型训练的经典思路,Open AI的很多模型都是采取这个方式。先通过设置奖励函数给系统设置一些边界,再通过奖励模型提供更连续、更泛化、更多维的奖励信息给到强化学习,最后再通过世界模型对他进行多维度的模拟验证。

于是,一个经过海量数据训练的优秀老司机云端大模型就这样诞生了。最后再通过蒸馏的方式把云端训练的能力沉淀出来,生成“小身材、大智商”的端侧模型,下放在车端。

小鹏说这个基座模型可以为不同需求的汽车定制不同的“大脑”,让“千人千面”的模型研发成为可能。

这里其实有一个非常有意思的地方。地平线余凯,博世吴勇桥等都认为,自动驾驶将来会是一个标准件一样的东西,智驾不会出现郭德纲和林志玲的不同风格,但是这里又说智驾千人千面。我的理解是不是不同的车型搭载的硬件不一样,模型参数量不一样从而产生差异化的情况。

这个世界基础模型更像是小鹏做了一个数据训练模型的放大器,让模型能够吞吐更大规模的参数量,并且开发了一系列的配套小模型,然后在把海量数据训好的小模型下放在车端。

到这里其实思路已经比较清晰了,小鹏希望通过这套世界模型解决更高维度L3,甚至L4的问题。这列理念算不上新,小马智行CTO楼教主很早就说过了。但是小鹏推进的效果更迅猛。

世界基础模型的设想很美好,但实际实施起来并不容易。

首先是端侧芯片算力,即便是蒸馏过后的模型,也比目前的端到端模型大很多。目前市面上的芯片基本都是公用芯片,在特定模型的处理效率上并不高。这也是小鹏选择自研芯片的原因。何小鹏透露,小鹏专门针对其自研的世界基座大模型设计的芯片将会在今年2季度量产上车,它的专属性更强,效率更高。

另一个就是云端算力。小鹏目前的AI算力已经达到了10EFLOPS,实现了万卡集群。并且云端的训练集群常年保持在90%以上利用率。

除了GPU,多模态大模型还需要解决数据访问的效率问题。小鹏汽车自主开发了底层的数据基础设施(Data Infra),使数据上传规模提升22倍、训练中的数据带宽提升15倍;通过联合优化GPU / CPU以及网络I/O,最终使模型训练速度提升了5倍。如果把数据传输理解成一个水管放水,小鹏相当于专门为这个数据工厂建了一个抽水泵,让它的效率更高。

解决了进水效率,“水”(数据)从哪来?

小鹏一方面通过多卖车来收集数据。这里可以联想一下小鹏去掉激光雷达的逻辑,去掉激光雷达降车价带来的销量提升立竿见影;另一方面其实上文也有提到,在世界基座模型工厂里其实有世界模型,专门用来生产仿真数据。还用于调教真实的Smart Agent(智能体)的反馈,和它之间的博弈和接下来要做哪些动作。

目前,小鹏汽车用于训练基座模型的视频数据量高达2000万clips,这一数字今年将增加到2亿clips。

在这些基础设施之上,小鹏的云端基础模型更像是一个车端模型的效率工厂。它能够快速在12小时就能训练一版模型。

这套理论最核心的支撑点在于Scaling Law(尺度定律:参数量越大,模型训练效果越好),这个已经在大语言模型被证明的定律。

当然,在这之前,小鹏需要回答另一个问题是,蒸馏之后的模型效果到底好不好?达到什么样的标准才能上车?

Deepseek的逻辑是不管怎么蒸馏,模型始终在云端。但小鹏这个的逻辑是大模型蒸馏之后下放到车端。

李力耘的说法是,加大车端算力,模型的承载能力也会更大。这其实又回到了小鹏自研芯片的逻辑。

目前,小鹏的大模型还在训练“老师”(云端大模型)阶段,也就是所谓的基础大模型,目标是接近L3,但目前还没有量化的数据出来,“学生”(蒸馏后的端侧模型)的能力更是无从得知,但从 小鹏X9在香港的测试来看,内部认为其实表现出来的能力已经远超目前系统的能力。

虽然还没上车,但小鹏已经验证了几个基本规律:

1、验证规模法则在自动驾驶领域持续生效。也就是说大模型的Scaling Law在自动驾驶同样奏效;

2、在后装算力的车端成功实现基模控车;

3、启动72B参数基模训练,搭建针对强化学习的模型训练框架。

十年前,小鹏汽车成立时就坚定了自动驾驶的大方向,它是第一个将激光雷达量产落地在辅助驾驶的乘用车企,兜兜转转几年之后小鹏又重新去掉激光雷达,采用纯视觉方案。毫无疑问,这是一条完全Follow特斯拉的技术路线。在智能驾驶到来的浪潮前夕,中美企业代表再一次同频共进。

继续阅读

相关推荐

评论(0)

还没有评论哦,快来抢沙发
最新评论
    查看全部0条评论
    加载中