端到端模型与VLA技术路线 - 理想汽车在端到端模型结合视觉语言模型量产的后期发现两大问题：训练数据量超过1000万片段后，模型性能提升速度显著变慢，5个月内平均无干预接管里程仅增长约2倍[5]；端到端模仿学习缺乏深度逻辑思维能力，导致违反常理行为、决策不够智能及安全感不足[5] - 为解决上述问题，公司引入视觉语言模型，并主推视觉语言行为模型量产，期望其平均无干预接管里程达到1000公里以上[2][5] - 视觉语言行为模型具备三大核心能力：空间智能代表对远距空间和全局语义的理解能力；语言智能代表通过思维链生成决策并听懂人类指令，联合训练后推理速度可达10赫兹以上；行为策略代表使用扩散模型直接生成平滑轨迹，支持多种驾驶可能性[6] 仿真测试与闭环训练体系 - 公司升级模型评测方式，使用世界模型进行闭环仿真和测试，使后训练和强化学习环节的评测效率更高，测试成本从每公里18.4元大幅降低至0.53元[9] - 基于世界模型构建的仿真平台可实现强化学习，架构包括云端训练平台进行数据管理和奖励模型更新，更新后的模型在仿真平台运行，高价值数据反馈至样本库[11] - 为配合区域仿真，公司构建世界模型3D资产库，可根据训练需求将资产注入仿真世界作为交通参与智能体[12] 算力资源配置 - 理想汽车总算力达到13EFLOPS，其中10EFLOPS用于训练，3EFLOPS用于推理[13] - 公司拥有5万张训练和推理卡，推理卡算力等效3万个L20，训练卡算力等效2万个H20[13] - 在视觉语言行为模型时代，推理算力尤为重要，缺乏推理卡将无法生成仿真训练环境[13]

行业人才供需现状 - 自动驾驶行业高级岗位招聘困难，企业对经验丰富人才需求旺盛[2] - 行业技术发展从模块化转向端到端，从感知规控扩展至大模型领域，复合型人才稀缺[2] - 端到端VLA算法涉及BEV感知、视觉语言模型、扩散模型、强化学习、世界模型等多技术融合[2] 自动驾驶VLA与大模型实战课程 - 课程聚焦VLA三大领域：VLM作为自动驾驶解释器、模块化VLA、一体化VLA及推理增强VLA[2] - 配套理论基础涵盖Vision/Language/Action三大模块、强化学习、扩散模型等核心技术[2] - 设置大作业章节指导学员从零搭建VLA模型及数据集[2] - 授课团队包括清华大学硕士生咖喱，在ICCV/IROS/EMNLP/Nature Communications发表多篇论文[8] - 团队成员Max在EMNLP/IROS/ICCV/AISTATS发表论文，GitHub开源项目总Star数超2k[8] - 团队成员Eric在RAL/IROS/EMNLP发表论文，专注在线建图感知与VLA算法预研[11] 端到端与VLA自动驾驶课程 - 课程覆盖端到端自动驾驶宏观领域，重点讲解一段式/两段式算法与理论基础[12] - 核心技术包括BEV感知、大语言模型、扩散模型和强化学习[12] - 设置两大实战项目：基于扩散模型的Diffusion Planner和基于VLA的ORION算法[12] - 授课老师Jason具备C9本科+QS50 PhD背景，发表CCF-A论文2篇，现任国内TOP主机厂算法专家[14] - 教师团队拥有端到端算法量产交付经验，主持过多项自动驾驶感知产品研发[14] 课程参与门槛 - 学员需自备GPU，推荐算力在4090及以上级别[15] - 要求具备自动驾驶基础模块知识，熟悉Transformer大模型、强化学习、BEV感知等概念[16] - 需掌握概率论、线性代数基础及Python/PyTorch编程能力[16]

直播核心主题 - 探讨视觉语言动作模型算法与强化学习落地问题 [2][3][6] 讨论议题 - 视觉语言动作模型架构和模型存在的痛点 [6] - 提升机器人全身运动控制性能的方案进化空间 [6][15] - 视觉语言动作模型结合强化学习实际上机的策略、硬件选择及轻量化方法 [6][15] 参与嘉宾 - 隋伟 地瓜机器人算法副总裁 [9] - 张妮 北京人形机器人首席研究员、学术委员会主任 [11] - 汪天才 原力灵机合伙人 [13] - 于超 清华大学博士 即将加入清华深研院任助理教授 担任主持 [15]

公司业务发展 - 公司创业前两年专注于C端市场，为自动驾驶与具身智能领域研发近50门课程 [1] - 公司从今年初始开始收到大量企业服务需求，业务转向B端市场 [1] - 公司正式推出企业服务与咨询业务，旨在助力客户技术路线升级、团队人员升级和提供决策参考 [1] 公司资源与能力 - 公司已积累近3年行业咨询与培训经验 [1] - 公司储备大量专家人才库 [1] - 公司全平台粉丝数量近40万 [1] 企业服务范围 - 公司企业服务包括品牌宣传、产业咨询、技术培训和团队升级 [4] - 公司已与国内多个高校、职业院校、Tier1、主机厂及具身机器人公司建立企业合作 [2] - 公司期望触达更多需要升级的企业，推动行业进步 [2]

算法核心原理 - Flow Matching是一种生成式模型，旨在从随机输入生成与目标数据集相似的样本[3][4] - 与直接学习随机数据到目标数据的映射不同，该算法通过学习一个“行驶方向”或速度场，引导随机点逐步移动到目标分布区域[12][14] - 训练时在源点到目标点的连线上采样中间点，并学习其朝向目标点的移动方向，推理时从随机点出发，沿学习到的方向场移动，最终收敛到目标分布[16][17] 技术优势与比较 - 相比自回归模型逐像素生成效率低的问题，Flow Matching通过一次生成关联较小的区域来平衡效果与效率[9][10] - 相较于扩散模型的多步迭代降噪，Flow Matching提供了一种更直接高效的生成方案，已被Stable Diffusion 3、Meta MovieGen等应用[12] - 该算法能有效避免模型输出因可能性过多而退化为多种可能状态平均值的问题，生成质量更高[7][11] 代码实现与实战 - 基础实现包含生成随机源点、与目标点线性插值得到中间点、训练网络预测速度场并与真实方向计算损失等关键步骤[18][19] - 带提示词的生成模型可通过在预测网络中增加提示词输入实现，将生成过程约束到特定条件或区间[24][26] - 在MNIST手写数字生成任务中，采用UNet作为骨干网络以融合多尺度特征，并改用自适应步长ODE求解器以提升生成精度[32][34][36] 行业应用与前景 - 端到端自动驾驶算法工程师等岗位薪资范围达50-80K，显示市场对相关技术人才需求旺盛[50] - 行业课程涵盖从算法框架、强化学习应用到轨迹优化、模型部署等量产经验，旨在培养面向就业的实战能力[48][49] - 量产专家分享的导航信息编码、时空联合规划兜底等经验，直接关联算法在真实场景中的落地优化[47][49]

公司运营状况 - 毫末智行于11月22日正式解散，公司账户已冻结，赔偿方案尚未公布 [2][3] - 公司自2023年起经历大规模人员流失，去年职能部门裁员约1/3甚至近半，2024年包括技术副总裁、产品副总裁、品牌官及整个公关团队在内的多名核心骨干离职 [5] - 公司官方公众号自2024年6月起已无自身资讯更新，最新内容停留在10月1日的节日海报 [6] 公司技术发展历程 - 公司成立于2019年11月29日，前身为长城汽车2015年成立的智能驾驶系统开发部 [6] - 2020年11月推出首款末端物流自动配送车“小魔驼”，2021年12月发布自动驾驶数据智能体系MANA（雪湖） [6] - 截至2023年，MANA学习时长超62万小时，支撑感知、认知、决策等技术升级 [6] - 2023年4月11日发布自动驾驶生成式大模型DriveGPT（雪湖·海若） [8] - HPilot辅助驾驶系统3.0版本已打通高速与城市场景 [9] - 公司选择高通Snapdragon Ride计算平台，成为行业首款落地高通自动驾驶芯片8650的车型 [10] 行业动态与市场影响 - 2024年3月，元戎启行开始为某主机厂提供包括无图城区NOA技术方案在内的端到端智能驾驶方案 [9] - 毫末智行解散后，社交媒体上出现相关车型用户对产品后续使用体验的担忧和不满 [11]

课程核心观点 - 3D高斯泼溅技术领域技术迭代速度极快，涵盖静态重建、动态重建、表面重建及前馈模型等多个方向[1] - 行业存在理论与实践结合的学习门槛，缺乏系统化的学习路径[1] - 课程旨在提供从原理到实战的完整3DGS技术栈学习方案，由工业界算法专家讲授[1] 课程大纲与内容 - **第一章：背景知识**：涵盖计算机图形学基础、三维空间表达、渲染管线及3DGS开发工具如COLMAP、Gsplat，并设置基于3D Real Car模型的实战作业[5] - **第二章：原理和算法**：深入讲解3DGS原理、核心伪代码及动态重建、表面重建等前沿算法，实战采用英伟达开源3DGRUT框架[6] - **第三章：自动驾驶应用**：聚焦Street Gaussian、OmniRe、Hierarchy UGP三篇工作，实战使用DriveStudio平台[7] - **第四章：研究方向**：探讨COLMAP扩展、深度估计、Relighting等方向，分析其工业界应用与学术前景[8] - **第五章：前馈3DGS**：梳理前馈模型发展历程与原理，讲解AnySplat和WorldSplat等最新算法[9] - **第六章：答疑交流**：通过线上形式讨论行业岗位需求、技术痛点等开放性问题[10] 课程安排与面向人群 - 课程为期两个半月，采用离线视频教学结合VIP群答疑模式，章节从12月1日起分阶段解锁[12] - 面向具备GPU算力、计算机图形学基础、Python/PyTorch能力的学习者，目标人群覆盖实习、校招、社招阶段[14] - 讲师为QS20硕士，现任Tier1厂商算法专家，拥有三维重建及自动驾驶仿真引擎开发经验[2]

行业技术趋势 - 世界模型成为自动驾驶领域关键发展方向，具备数据生成、预训练、闭环仿真和轨迹预测等核心能力[1] - 行业领先公司积极布局世界模型技术：小米用于数据生成和闭环仿真，蔚来和华为宣布基于世界模型量产，理想汽车提出从数据闭环走向训练闭环的技术路径[1] - 中科院和华为引望提出的DriveVLA-W0模型利用7000万数据验证了自动驾驶模型的data scaling law，引发行业广泛关注[1] 技术瓶颈识别 - 现有强化学习世界模型存在系统性"乐观偏差"问题，仅基于安全专家数据训练，无法预测错误行为后果[2] - 当输入不安全轨迹时，模型会幻想不切实际的安全未来（如障碍物消失、道路被忽视），而非预测即将发生的故障[2][7] - 这种"无法想象失败"的特性使世界模型难以成为学习稳健驾驶策略的可靠评估器[2] 解决方案创新 - 提出基于公正世界模型的后训练策略优化框架，通过反事实合成流水线生成包含合理碰撞和偏离车道事件的训练样本库[3] - 创新性引入轨迹感知门控模块和自车轨迹保真度损失，确保模型预测始终忠实于指令轨迹[10][25][26] - 构建风险预测基准（RFB）系统量化模型预测灾难性故障能力，为行业提供关键评估工具[15] 技术架构设计 - AD-R1框架包含两大核心模块：新型公正世界模型设计和强化学习框架集成[14] - 公正世界模型基于I²-World高效架构扩展，采用两阶段设计：场景Token化和自回归预测[17][22] - 训练数据混合80%真实nuScenes数据与20%合成反事实数据，实证验证最优比例平衡故障样本与真实驾驶动态[44] 性能验证结果 - 公正世界模型在风险预测基准上表现优异：G-IoU达40.21%，DAF达25.10%，显著优于DOME和I²-World基线模型[47][48] - 后训练优化使两个基线模型的规划决策综合指标（PDMS）分别实现1.7%和1.1%的绝对提升[15][49] - 消融实验证实三大核心组件协同作用：反事实合成带来最关键提升，模型优化增强因果保真度，4D奖励实现最优性能[51][52] 应用价值体现 - 框架具备即插即用特性，可提升任何驾驶智能体的安全性，在复杂仿真场景中大幅减少安全违规事件[3][9] - 4D奖励建模基于物理的丰富基础，能捕捉安全性、舒适性与任务进度，超越传统2D BEV方法的限制[35] - 该方法使智能体能够在安全离线环境中从大量想象故障中学习，为现实世界自动驾驶提供关键能力[15]

课程核心定位 - 课程聚焦于自动驾驶领域端到端技术的量产化实战应用，旨在解决行业量产人才稀缺的问题 [1] - 课程设计历时三个月，内容涵盖从模型优化、场景优化、数据优化到下游规划兜底的全栈技能 [1] - 课程由自动驾驶之心联合工业界算法专家开设，重点为面向就业直击落地，目前仅剩35个招生名额 [3][5] 核心算法与技术内容 - 课程涉及的核心算法包括一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习等 [3] - 技术组合涵盖扩散模型+强化学习、自回归+强化学习、时空联合规划等前沿方法 [3] - 课程最后将分享实际的量产经验，帮助学员构建完整的量产优化知识体系 [3] 讲师背景 - 讲师王路拥有C9本科和QS50 PhD学历，已发表多篇CCF-A和CCF-B论文 [6] - 现任国内顶级tier1公司算法专家，从事大模型、世界模型等前沿算法的预研和量产工作 [6] - 所研发算法已成功落地并量产，拥有丰富的端到端算法研发和实战经验 [6] 课程大纲详解 - 第一章介绍主流感知模型一体化架构和经典规控learning化方案，以及开源数据集和评测方式 [9] - 第二章讲解两段式端到端算法框架，包括建模方式、感知与PNC信息传递，并通过PLUTO算法实战 [10] - 第三章深入一段式端到端框架，涵盖基于VLA和diffusion的方法，重点学习VAD系列 [11] - 第四章专注导航信息的量产应用，包括导航地图格式、编码嵌入方式及能力发挥 [12] - 第五章从模仿学习过渡到强化学习，重点介绍RL算法及其训练策略以解决corner-case场景 [13] - 第六章进行nn planner项目实战，结合模仿学习与强化学习，重点讲解扩散模型和自回归算法 [14] - 第七章介绍时空联合规划等轨迹平滑优化算法，作为模型直出的兜底方案确保轨迹稳定可靠 [15] - 第八章从数据、模型、场景、规则多视角分享量产经验，提升系统能力边界 [16] 课程安排与学员要求 - 课程于11月30日开课，预计三个月结课，采用离线视频教学加VIP群答疑模式 [17] - 学员需自备GPU，推荐算力在4090及以上，并具备BEV感知、视觉Transformer等算法基础 [18] - 要求掌握强化学习、扩散模型理论基础，熟悉Python、PyTorch及mmdet3d算法框架 [18] - 需要一定的高等数学、线性代数和矩阵论基础，课程按周解锁章节，持续至次年2月底 [19]

文章核心观点 - 北交&轻舟智航等团队提出新型端到端自动驾驶规划框架GuideFlow，基于Constrained Flow Matching显式建模流匹配过程，解决多模态轨迹生成中的模式坍塌问题[2][3] - 核心创新在于将显式约束直接嵌入流匹配生成过程，通过速度场约束、流状态约束和EBM流优化三种策略确保轨迹满足物理和安全约束[3][11] - 框架将驾驶激进度参数化为生成过程控制信号，实现对轨迹风格的精准调控，在主流驾驶基准数据集上取得当前最优性能，Navhard子集EPDMS分数达43.0[3][15][37] 背景回顾 - 端到端自动驾驶将感知、预测和规划构建为统一系统，支持跨任务推理并减轻级联误差问题，但传统单模态规划器无法反映驾驶场景不确定性[9] - 多模态规划方法基于模仿学习训练，因每个场景仅提供一条真实轨迹而出现模式崩溃，生成式方法虽提升多样性但难以保证约束满足[10] 算法框架 - GuideFlow包含感知条件速度场生成器、无分类器引导和安全约束采样三大模块，通过交叉注意力融合智能体令牌与地图令牌实现场景条件建模[20][21] - 采用无分类器引导训练框架，以概率掩码处理条件输入，通过引导尺度控制驾驶意图信号对运动的影响强度[23][24] - 约束生成模块中，速度场约束调整运动方向与参考方向对齐，流状态约束采用类截断策略修正偏离流路径，EBM流优化将约束执行融入能量图景[25][28][31] 实验结果 - 在NavSim数据集Navhard高难度子集上取得SOTA性能，EPDMS分数达43.0，较此前最佳结果提升1.3分[15][37] - Bench2Drive数据集上驾驶分数达75.21，成功率51.36%，优于UniAD、VAD等端到端基线模型[35][39] - 开环测试中，NuScenes数据集平均碰撞率0.07%，ADV-NuScenes数据集0.73%，在短时域预测中可靠性显著[40][41] 技术细节 - 消融实验显示规划锚点引导变体性能最优，EPDMS得分29.0，因锚点封装更丰富的决策信息[43] - 流状态约束与EBM流优化模块组合使用时性能最佳，EPDMS得分27.1，三种约束方法具有互补性[44][45] - 超参数敏感性分析表明，λ值超过0.1会过度干扰速度场，CF模块修正时机需平衡偏差修正与场景适应性[46][47]