端到端与轨迹预测研究价值 - 尽管端到端方案流行，但分层方案仍被广泛采用，轨迹预测作为核心算法仍是研究热点[1] - 行业持续关注联合轨迹预测和目标轨迹预测，相关学术会议和期刊保持高产出量[1] - 多智能体轨迹预测在自动驾驶、智能监控等领域具有关键应用价值，但面临行为不确定性和多模态性挑战[1] 扩散模型技术突破 - LeapfrogDiffusionModel(LED)采用可训练跳跃初始化器，实现19-30倍加速并在NBA/NFL等数据集提升精度[2] - MixedGaussianFlow(MGF)通过混合高斯先验匹配多峰分布，在UCY/ETH数据集达到SOTA性能[2] - MPMNet创新性使用运动模式记忆库引导扩散模型生成多样化轨迹[2] 课程技术体系 - 研究框架融合扩散生成机制、社会交互建模与条件控制机制[3] - 验证数据集覆盖ETH/UCY/SDD等主流基准，对比LED/MGF/SingularTrajectory等方法[3] - 预期产出包括算法框架、定量分析、可视化成果及高水平论文[3] 课程培养目标 - 构建轨迹预测知识体系，衔接理论知识与代码实践[6] - 提供论文创新思路到投稿的全流程支持，包含写作方法论与修稿指导[6] - 通过12周科研+2周论文指导+10周维护期实现论文初稿产出[9] 技术资源支持 - 提供ETH/UCY/SDD等预处理数据集及开源框架(LED/SingularTrajectory/MGF等)[20][21][22] - 重点论文覆盖CVPR 2023-2024最新成果，包括LED/MGF/MPMNet等创新模型[23] - 课程安排包含14周系统训练，涵盖扩散模型原理、社会交互建模到投稿全流程[24][25] 教学服务体系 - "2+1"师资配置(教授+行业导师+班主任)提供全周期学术支持[16][17] - 包含学前评估、个性化教学跟踪、学术复习等标准化流程[18] - 产出包含论文初稿、结业证书及推荐信(优秀学员)[19] 学员能力要求 - 需掌握Python/PyTorch及Linux开发基础，GPU配置要求16GB内存+4GB显存[10][12][15] - 学习强度要求每周1-2小时自学，按时完成作业并保持全勤[15] - 提供基础补齐课程(深度学习/PyTorch入门)支持零基础学员[14][26]

自动驾驶技术研究进展 - 斯坦福大学和微软提出DRIVE框架 实现0%软约束违反率 在inD、highD和RoundD数据集上验证了轨迹平滑性和泛化能力 [2][6] - DRIVE框架通过指数族似然建模学习概率性软约束 克服传统方法依赖固定约束形式的局限 [6] - 北京交通大学与海南大学开发混合学习-优化轨迹规划框架 高速公路场景成功率97% 实时规划性能54ms [11][12] - 美团与中山大学团队提出RoboTron-Sim技术 在nuScenes测试中实现困难场景碰撞率降低51.3% 轨迹精度提升51.5% [18][19][23] - 安徽大学团队提出SAV框架 在VehicleSeg10K数据集上达到81.23% mIoU 超越之前最佳方法4.33% [34][35][40] 算法创新与框架设计 - DRIVE框架将学习到的约束分布嵌入凸优化规划模块 支持数据驱动的约束泛化与系统性可行性验证 [6] - 混合学习-优化框架采用GNN预测速度剖面 MIQP进行路径优化 引入车辆几何离散化线性近似降低计算复杂度 [12] - RoboTron-Sim提出场景感知提示工程和几何感知图像到自车编码器 解耦传感器特定参数 [23] - SAV框架整合车辆部件知识图谱和视觉上下文样本增强策略 构建包含11,665张图像的数据集 [40] 实验性能表现 - DRIVE框架在轨迹平滑性和泛化能力上表现优异 软约束违反率为0% [6] - 混合学习-优化框架在复杂紧急场景中成功率超97% 平均规划时间54ms [12][13] - RoboTron-Sim在3秒预测时域L2距离平均0.23米 碰撞率0.26% 显著优于对比模型 [28] - SAV框架在车辆部件分割任务上mIoU达81.23% 建立包含13个部件类别的基准数据集 [34][40] 行业资源与社区建设 - 自动驾驶之心社区梳理40+技术路线 涵盖感知、规划、控制等方向 [45][46] - 社区提供自动驾驶数据集汇总 包含近百个数据集和标注工具 [46] - 开设感知融合、多传感器标定、SLAM等系列视频教程 与多家公司建立内推机制 [47] - 整理自动驾驶领域企业介绍、高校团队、会议信息等资源 [46]

自动驾驶技术框架与模型 - LLaMA Factory是一款开源低代码大模型微调框架，集成业界广泛使用的微调技术，GitHub星标超过4万，成为开源社区最受欢迎的微调框架之一 [3] - 项目基于Qwen2.5-VL-7B-Instruct模型，通过自然语言对话触发自动驾驶辅助功能，并以特定格式返回结果 [3] - Qwen2.5-VL是视觉-语言系列旗舰模型，支持视觉识别、物体定位、文档解析和长视频理解，旗舰型号Qwen2.5-VL-72B性能与GPT-4o和Claude 3.5 Sonnet相当 [4] 数据集与训练 - 使用CoVLA数据集，包含10,000个真实驾驶场景和超过80小时视频，通过自动数据处理生成精确驾驶轨迹和自然语言描述 [5] - 实际训练仅使用400张图片和对应QA问答对，数据量较小 [7] - 微调过程通过Web UI配置参数，训练日志显示loss进度，微调后模型保存在指定路径 [15] 技术应用与效果 - 微调后的模型在回答自动驾驶相关问题时，比原生Qwen2.5-VL-7B-Instruct模型更具参考价值，原始模型存在答非所问的情况 [19] - 测试显示模型能识别天气、道路类型等场景信息，并给出置信度（如多雨天气置信度0.978，宽阔道路置信度0.659） [10] - 模型可评估自动驾驶风险，如识别交通信号灯、其他车辆（置信度0.656）和行人（概率43.064%） [10] 社区与资源 - 自动驾驶之心知识星球拥有近4000人社区，300+自动驾驶公司与科研机构参与，覆盖30+技术栈 [22] - 提供端到端自动驾驶、大模型、BEV感知、轨迹预测等多方向专业课程 [23]

事件概述 - 百度Apollo旗下自动驾驶出行服务平台萝卜快跑在重庆永川区试运营期间发生安全事故 车辆在行驶过程中坠入市政施工沟槽 车内乘客在工作人员和群众协助下脱困 [1] - 截至报道发布时 萝卜快跑运营方尚未就此次事件作出公开回应 [1] 业务运营情况 - 萝卜快跑于2022年6月10日正式在重庆永川区投入商业化运营 [1] - 截至2025年3月 该平台已在永川区建立近4000个运营站点 运营覆盖面积超过130平方公里 [1]

自动驾驶行业研究 - 自动驾驶行业正处于快速发展阶段，涉及多个技术方向如BEV感知、VLA、端到端自动驾驶等[23][30][41] - 行业技术热点包括3DGS与NeRF场景重建、世界模型、视觉语言模型(VLM)等前沿领域[43][45][47] - 主流技术路线涵盖感知融合、规划控制、仿真测试等多个环节[23][30] 自动驾驶技术方向 - BEV感知已成为量产方案基石，包含纯视觉和多模态方案[54] - 端到端自动驾驶包含一段式、二段式及量产方案[41] - 3D目标检测技术路线包括激光点云、单目/双目及多模态方法[56] - 多传感器融合技术包含强融合、弱融合和后融合方案[58] 行业资源与生态 - 自动驾驶领域拥有近60+数据集，涵盖感知、预测、强化学习等方向[39] - 行业主流仿真平台包括Carla、Apollo、Autoware等[23][82] - 开源项目覆盖3D检测、BEV感知、大模型应用等40+方向[37] 企业布局与人才需求 - 头部企业包括蔚小理、地平线、华为、大疆等[23][33] - 企业面试注重候选人技术深度及非技术能力如沟通、学习能力等[4][5][6][7] - 行业建立内推机制，提供岗位对接服务[13][21] 技术发展趋势 - VLA(视觉语言动作)成为2025年重点方向[49] - 扩散模型应用于数据生成、场景重建等领域[52] - 在线高精地图是无图NOA方案核心[60] - 强化学习是VLM必备组件[63]

公司动态 - 公司获得北京高级别自动驾驶示范区批准，可在晚10点至早7点进行Robotaxi夜间公开道路测试 [1] - 此次夜间测试是公司在北京构建24/7自动驾驶出行网络的关键一步 [1] - 公司已在4个国家的10个城市开展Robotaxi测试或运营，累计拥有2200天公开道路安全经验 [5] - 2025年5月公司在广州推出中国首个一线城市24/7自动驾驶出行网络 [5] 技术能力 - 公司Robotaxi配备20多个传感器，包括高动态摄像头和高线数激光雷达 [3] - 采用专有多传感器融合算法和HPC高性能计算平台，实现200米范围内360度无盲区探测 [3] - 开发智能传感器清洁系统，可自动检测污垢和湿气并触发清洁 [4] - 系统能在低光照和恶劣天气下保持稳定感知和快速决策 [3][4] 市场地位 - 公司是全球自动驾驶行业领导者，也是首家上市的Robotaxi企业 [9] - 已在10个国家的30多个城市测试或运营自动驾驶车辆 [9] - 在6个市场(中国、法国、沙特、新加坡、阿联酋和美国)获得自动驾驶许可 [9] - 入选《财富》杂志2024年"未来50强"榜单 [9] 业务发展 - 公司通过WeRide One平台提供L2至L4级自动驾驶产品和服务 [9] - 服务覆盖出行、物流和环卫等多个行业 [9] - 北京24/7测试将验证公司技术和安全系统，同时填补夜间和凌晨公共交通空白 [6] - 未来将继续利用全栈自动驾驶技术和安全系统扩展出行服务 [7]

基于可控扩散模型的生成式主动学习框架GALTraj - 提出GALTraj框架首次将可控扩散模型应用于轨迹预测的长尾问题通过尾样本感知生成技术动态增强稀有场景数据 [1] - 在WOMD和Argoverse2数据集上使长尾指标FPR₅相对降低47.6%（从0.42→0.22）整体预测误差minFDE₆降低14.7%（从0.654→0.558） [1] - 设计尾部感知生成方法对交通场景中的尾部代理、头部代理和相关代理分配差异化扩散引导生成兼具真实性、多样性且保留尾部特征的场景 [2] - 在多个骨干模型（QCNet、MTR）上验证显著提升尾部样本预测性能同时改善整体预测精度 [2] 拓扑感知激光雷达扩散模型TopoLiDM - 提出TopoLiDM框架通过拓扑正则化的图扩散模型实现高保真激光雷达生成 [13] - 在KITTI-360数据集上以22.6%的FRID下降率和9.2%的MMD下降率超越现有最优方法同时保持1.68样本/秒的实时生成速度 [13] - 采用紧凑的拓扑图作为潜在表示实现了快速、可解释且高保真的LiDAR点云生成 [15] - 拓扑感知VAE模块通过图构建和多层图卷积提取潜在图表示并引入0维持久同调约束确保生成的LiDAR场景符合真实世界环境的全局拓扑规则 [15] 高效端到端自动驾驶框架FastDriveVLA - 提出基于重建的视觉Token剪枝框架FastDriveVLA通过对抗性前景-背景重建策略在50%剪枝率下保持99.1%轨迹精度并降低碰撞率2.7% [21] - 设计ReconPruner通过MAE风格像素重建训练的即插即用修剪器增强识别有价值令牌的能力 [27] - 构建nuScenes-FG数据集包含241k图像-掩码对针对自动驾驶场景的前景分割标注 [27] - 在nuScenes开环规划基准上实现SOTA性能 [27] 语言大模型驱动自动驾驶框架PLA - 提出统一的感知-语言-动作（PLA）框架通过整合多传感器融合和GPT-4.1增强的视觉-语言-动作推理核心实现自适应自动驾驶 [34] - 在nuScenes数据集的城市交叉路口场景中速度预测的平均绝对误差（MAE）降至0.39 m/s、R²分数达0.923轨迹跟踪的平均位移误差（ADE）为1.013米 [34] - 多传感器语义融合模块整合激光雷达、雷达和相机数据生成结构化场景描述提升空间精度与语义丰富度 [38] - 通过LLM驱动的上下文推理增强对未见过场景的泛化能力实现鲁棒决策 [41] 自动驾驶行业资源整合 - 梳理近40+技术路线包括咨询行业应用、VLA benchmark、综述和学习入门路线 [50] - 整理国内高校著名自动驾驶团队和领域企业介绍 [52] - 汇总自动驾驶数据集与标定、仿真工具包括近百个数据集和标注工具 [52] - 提供基础入门资料涵盖数学基础、计算机视觉、深度学习和编程相关内容 [52]

自动驾驶技术趋势 - 自动驾驶技术栈呈现趋同态势，从过去分散的几十个方向逐渐向统一方案演进 [1] - 当前技术发展重点集中在one model、VLM（视觉语言模型）、VLA（视觉语言行动模型）等统一架构 [1] - 技术方案统一化背后反映出行业技术壁垒的显著提升 [1] 行业社群发展 - 行业社群定位为综合型平台，旨在汇集自动驾驶全产业链人才 [1] - 社群主要功能包括产业动态讨论、公司分析、产品研发交流、求职与职业发展等内容 [1] - 社群运营目标是通过资源共享帮助从业者成长，并建立行业人脉网络 [1]

小马智行表示，运营时段充分满足市民包括早晚高峰在内的日常通勤及休闲出行需求，同时运营线路覆 盖浦东新区人民政府、啦啦宝都购物中心、世纪公园、浦东足球场地铁站等核心商圈、地标场所及热门 地铁站，有效连接区域内工作、生活、休闲三大场景，让自动驾驶技术真正服务于市民的日常出行需 求。 责任编辑：王翔 消息称，小马智行联合锦江出租率先在浦东金桥和花木地区推出了面向公众常态化运营的Robotaxi服 务。每周一至周五早7：30至晚9：30，市民通过"小马智行"手机App或小程序，均可呼叫Robotaxi作为 出行交通工具。运营线路覆盖浦东新区人民政府、啦啦宝都购物中心、世纪公园、浦东足球场地铁站等 核心商圈、地标场所及热门地铁站。 8月4日消息，小马智行宣布，8月1日起，小马智行在上海浦东推出了面向公众常态化运营的Robotaxi服 务。 ...

交互式规划技术框架 - 交互式规划本质上是一个世界模型 用于描述自车与周围环境的动态交互关系[4] - 交互建模的核心在于推理其他交通参与者的未来行为 涉及博弈论、POMDP和应变规划器等理论框架[5] - 典型方法包括基于预测模型的交互规划 通过扰动自车轨迹增强条件预测(EC) 并构建轨迹树进行动态规划优化[6] TPP(Tree-structured Policy Planning)方法 - 通过构建自车轨迹树 为每个分支生成预测场景树 最后通过动态规划获得最优策略[6] - 损失函数包含三个部分：预测损失L_prediction(预测结果与GT的误差)、EC碰撞损失L_EC_collision(预测结果与自车轨迹的碰撞)、碰撞损失L_collision(交通参与者之间的碰撞)[9] - 其中L_EC_collision强制要求预测的交通参与者不能与自车轨迹发生碰撞 体现了交互逻辑[9] IJP(Interactive Joint Planning)方法 - 采用基于同伦(homotopy)的轨迹采样方法 将障碍物视为电流 利用安培环路定律计算磁场线积分 大幅减少采样数量[13][15] - 通过模型预测控制(MPC)联合优化自车和其他交通参与者轨迹 线性约束条件考虑了自车与其他车辆之间的碰撞关系[16] - 计算延迟分析显示：预测部分耗时50ms(Nvidia 3090) SQP求解每条轨迹需300ms(构建150ms+求解150ms) 总延迟达1850ms[18] 实时性优化方案 - 采用ADMM(交替方向乘子法)替代SQP 将大规模优化问题分解为可组合的子问题 在16个交通参与者情况下可达125Hz频率[19] - 嵌入式在线MPC技术可实现兆赫兹级别的优化速率 满足实时性要求[19] DIPP(Differentiable Integrated Prediction and Planning)方法 - 采用可微分框架 联合学习预测模型和规划代价函数的权重参数[21][22] - 损失函数包含多模态预测损失L_prediction、评分损失L_score、模仿损失L_imitation和代价损失L_cost[31] - 使用Transformer编码器处理交通参与者历史和地图信息 通过可微非线性运动规划器进行优化[27][30] 技术挑战与局限性 - 预测导向方法存在反事实安全问题 如主动汇入场景中预测与实际行为可能不一致[41] - 静态场景(如道路施工)中预测导向方法效果有限 需要参数自动调整而非轨迹学习[44] - 真实标注数据存在不一致性问题 驾驶员行为有时让行有时主动 需要行为/轨迹聚类[41] 方法对比与应用前景 - TPP采用采样生成自车轨迹 预测模型参数可学习 代价权重人工设定[40] - IJP通过优化生成自车轨迹 预测模型参数固定 代价权重人工设定[40] - DIPP通过Transformer和优化器生成自车轨迹 预测模型参数和代价权重均可学习[40] - 模块化框架(IJP)性能明确但依赖预测模型质量 端到端框架(DIPP)性能不明确但值得探索[45] - 未来方向包括：Theseus库参数调优、联合优化解释性、Transformer交互建模可扩展性[45]