Workflow
自动驾驶VLA模型
icon
搜索文档
做自动驾驶VLA的这一年
自动驾驶之心· 2025-12-05 00:03
自动驾驶技术演进与VLA模型 - 自动驾驶技术发展经历了四个阶段:模块化流水线、端到端、视觉语言模型和视觉语言动作模型 [5] - 模块化流水线将感知、预测、规划、控制拆分为独立子系统,存在信息割裂和易出错的问题 [5] - 端到端模型直接从传感器画面生成控制信号,但存在黑箱特性,解释性差,难以处理长尾场景 [5] - 视觉语言模型让车辆具备“看”和“说”的能力,能解释驾驶行为,但无法直接“做”,存在“行动鸿沟” [5] - 视觉语言动作模型将视觉、语言和动作整合到统一框架,能理解自然语言指令并直接生成驾驶行为,实现了感知、推理和控制的一体化 [6] - VLA模型继承了大模型的语义先验,能借助常识处理少见或未见场景,例如被遮挡行人或自行车突然加速 [6] 自动驾驶之心知识星球社区概况 - 社区是一个综合类自动驾驶社区,集视频、图文、学习路线、问答和求职交流为一体 [10] - 社区成员超过4000人,目标在未来2年内达到近万人规模 [10] - 社区成员来自国内外知名高校和头部公司,高校包括上海交大、北京大学、CMU、清华大学等,公司包括蔚小理、地平线、华为、大疆等 [21] - 社区内部梳理了近40个自动驾驶技术方向的学习路线 [12][14] - 社区与多家自动驾驶公司建立了岗位内推机制 [16] - 社区内部已举办超过一百场专业技术直播分享 [95] 社区提供的学习与研究资源 - 汇总了自动驾驶领域近40个技术方向的学习路线,包括感知、仿真、规划控制、端到端、VLA、多模态大模型等 [12][21][22] - 整理了自动驾驶领域国内外高校著名团队和公司信息 [15][34][36] - 汇总了自动驾驶相关的经典书籍、课程课件和开源项目 [15][38][40] - 整理了近百个自动驾驶数据集,包括多模态大模型预训练、微调、思维链和强化学习数据集 [15][42] - 提供了“自动驾驶100问”系列专题,涵盖TensorRT模型部署、毫米波雷达融合、车道线检测、规划控制等问题 [15] - 社区内部提供七大福利视频教程,涵盖世界模型、自动驾驶大模型、Transformer、3D目标检测等内容 [92] 社区关注的技术热点与讨论 - 端到端自动驾驶的入门、学习路线及在量产中的应用 [12][26] - 自动驾驶多模态大模型与VLA的学习路线、数据集及微调方法 [12][26] - 多传感器融合技术的就业前景 [12][26] - 3D高斯泼溅与闭环仿真的结合与应用考虑因素 [12][26] - 世界模型的概念、业内应用及研究切入点 [12][26] - 规划控制向端到端VLA转型的学习路径 [12][26] - 行业内公司前景、跳槽机会及岗位内推 [12][26] - 闭环强化学习的入门方法 [12][26]