自动驾驶基础模型

搜索文档
揭秘小鹏自动驾驶「基座模型」和 「VLA大模型」
自动驾驶之心· 2025-09-17 23:33
小鹏自动驾驶技术方法论 - 提出自动驾驶软件3.0时代概念 即"AI模型即软件" 整个软件栈由端到端AI模型构成 基于以数据为中心的方法迭代[6] - 公司处于将整个自动驾驶软件栈构建为端到端AI模型驾驶汽车的阶段[8] - 基于规模定律(scaling law) 利用每天从数十万辆真实世界车辆收集的大量数据训练大型视觉模型作为"工厂"[8] 基础模型与部署架构 - 通过大数据构建基础模型 无需依赖三维空间先验知识和空间问题 类似世界模型概念[8] - 通过深度裁剪 量化 蒸馏将基础模型压缩为更小版本 部署到车端硬件[8] - 在云端构建VLA(视觉语言动作)基础模型 通过蒸馏剪枝和微调训练部署到车端[32] 内外循环训练机制 - 内循环为每个模型创建训练流 扩展数据后进行再训练和监督微调(SFT) 持续提升模型性能[9] - 外循环通过数十万辆车作为现实世界数据采样器 持续采样数据 根据返回数据持续训练(协同训练)[11] - 重复内外循环过程直至性能达到L4级自动驾驶 公司目标2026年实现L4级智驾车型量产[11][13] VLA模型训练方法 - 采用阿里Qwen作为原始VLM模型 使用公司整理的驾驶数据进行预训练和对齐[15] - 预训练数据分类包括静态交通元素 动态交通参与者 点对点轨迹数据 占用网络 交通信号灯和交通流信息[18] - 基于Chain-of-Thought思维链进行四步推理:提供基本驾驶知识 CoT SFT 强化学习CoT 考虑延迟的CoT SFT[22][23] 模型优化与安全强化 - 监督微调(SFT)建模为"指令遵循"任务 使用筛选的好数据专门训练导航 舒适刹车等专用指令[27] - 后期训练(post-training)采用强化学习解决长尾案例 建立奖励模型确保行动一致性[29] - 强化学习设计三重奖励机制:安全(避免碰撞) 效率(避免卡壳) 合规(遵守交通规则)[30] 行业竞争核心要素 - 底层算法和架构相通 行业差距取决于高质量数据 大算力以及算法产品化和工程落地能力[32] - VLA概念需要基础成熟的LLM作为底座 针对性训练交通驾驶行为[32] - 基础模型蒸馏上车思路可加速开发并快速部署到不同算力平台 但前提需要大算力和高质量数据[32]