正式开课!7个Project搞懂端到端落地现状
自动驾驶之心·2025-12-12 03:02

行业招聘需求与技术趋势变化 - 自动驾驶行业招聘需求正发生变化,两年前热门的感知岗位需求进一步收缩 [2] - 当前行业需求较高的技术方向集中在端到端、视觉语言动作模型和世界模型等领域 [2] - 头部玩家已验证端到端技术路径可行,其他车企正跟进投入人力和资源,从模型、场景、数据优化到下游规划兜底进行布局 [2] - 市场面临合格候选人供给不足的挑战,候选人往往只精通部分技术栈,而相关岗位要求广泛的技术能力 [2] - 具体的量产经验,如导航信息引入、强化学习调优、轨迹建模及优化,是实际落地中的关键痛点和门道 [2] 课程核心定位与内容设计 - 课程名称为《面向量产的端到端实战小班课》,核心重点是聚焦量产应用 [2] - 课程设计历时三个月,包含七个实战项目,从实战到落地层层展开 [2] - 课程核心算法覆盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型结合强化学习、自回归结合强化学习、时空联合规划等 [2] - 课程最终会分享实际的量产经验,目标面向就业与直接落地 [2] - 课程采用小班制,目前仅剩20个招生名额 [2][4] 端到端技术架构演进与核心模块 - 在端到端时代,感知任务的合并与规控算法的学习化已成为绝对主流 [7] - 如何更高效合并感知任务及设计规控的学习化模块是各大公司的核心必备技能 [7] - 两段式端到端框架涉及感知与规划控制的建模及信息传递方式,有其特定优缺点 [8] - 一段式端到端框架可实现信息的无损传递,因此在性能上通常优于两段式方案,具体方法包括基于视觉语言动作模型和基于扩散模型的方法等 [9] - 导航信息在自动驾驶中起引导、选路、选道的关键作用,其地图格式、内容及在端到端模型中的编码与嵌入方式是重要课题 [10] 算法训练策略与量产保障方案 - 仅依靠模仿学习存在局限,因人类驾驶风格迥异且部分极端场景数据难采集,需结合强化学习以学习因果关系并实现泛化 [11] - 课程项目实战涵盖基于模仿学习的算法,并重点介绍基于扩散模型和自回归的算法,在监督微调后会继续讲解强化学习实战 [12] - 在量产落地阶段,为确保轨迹稳定可靠,需有后处理的兜底逻辑,例如通过轨迹平滑优化算法对模型直出结果进行优化 [13] - 时空联合规划是重要的兜底方案,涉及多模态轨迹打分搜索及轨迹平滑等算法 [13] - 量产经验分享将从数据、模型、场景、规则等多个视角,剖析如何选用合适工具和策略以快速提升系统能力边界 [14] 课程安排与学员要求 - 课程面向进阶学员,开课时间为11月30日,预计三个月结课,采用离线视频教学配合VIP群答疑及三次线上答疑的形式 [15] - 课程章节按计划解锁,例如第一章于11月30日解锁,第二章于12月7日解锁,后续章节按周或月间隔陆续开放 [16][18] - 学员需自备图形处理器,推荐算力在4090及以上 [17] - 学员需具备的基础知识包括:熟悉自动驾驶鸟瞰图感知、视觉Transformer、端到端等常见算法;掌握强化学习、扩散模型理论基础;具备一定的Python和PyTorch语言基础;熟悉mmdet3d算法框架;以及一定的高等数学、线性代数和矩阵论基础 [17]