Workflow
flow matching
icon
搜索文档
模仿学习之外,端到端轨迹如何优化?轻舟一篇刷榜的工作......
自动驾驶之心· 2025-11-10 03:36
文章核心观点 - 北交、轻舟、燕山大学、澳洲昆士兰大学的团队提出了一种名为CATG的新型端到端自动驾驶轨迹生成框架,该框架基于Constrained flow matching技术,旨在解决现有方法在行为多样性和安全约束集成方面的局限性[1][3][4] - CATG框架的核心创新在于彻底摒弃模仿学习,显式建模flow matching过程以缓解模式崩溃,并支持在生成过程中灵活注入多种条件信号和显式约束,从而实现对轨迹风格和安全性的精准调控[1][4][7] - 在ICCV NAVSIM V2端到端驾驶挑战赛中,CATG以51.31的EPDMS得分获得亚军,并荣获创新奖,证明了其在规划精度和对分布外数据的稳健泛化能力[1][4][22] 技术背景与问题定义 - 端到端多模态规划是自动驾驶系统的关键方法,在模糊或高度交互的驾驶场景中尤为重要,但大多数现有方法依赖模仿学习框架,导致预测结果同质化,缺乏行为多样性[3] - 现有生成式方法如扩散模型虽能捕捉更广泛的轨迹分布,但存在模式崩溃风险,且难以将硬约束集成到生成过程中,影响了生成轨迹的安全性和可解释性[3][6] 方法论创新 - 提出基于flow matching的多模态轨迹生成器CATG,无需依赖模仿学习,支持多样化、灵活的条件控制[7] - 通过渐进式机制将可行性约束和安全约束显式集成到生成过程,利用先验感知锚点设计构建约束引导的概率流,并通过基于能量的引导将轨迹导向可行区域[7][13][17] - 将环境奖励信号作为条件输入,在推理阶段实现激进驾驶风格与保守驾驶风格之间的可控权衡[7][13] 技术实现细节 - 采用Transfuser作为感知骨干网络,从标准高斯分布中采样起点,并将目标轨迹归一化到特定区间[8] - 通过多层交叉注意力机制融合智能体查询向量、自车查询向量以及鸟瞰图特征[10][12] - 在推理阶段引入三类条件控制信号:轨迹锚点、目标点和驾驶指令,以实现对生成轨迹的灵活控制[13][16] 约束集成策略 - 约束速度场:利用预计算的速度场修正模型预测的可能存在偏差的速度场,提出"合成速度场"概念[17] - 约束中间变量:通过修正流的起点,将初始高斯随机样本替换为满足约束的锚点,间接控制最终生成结果[17] - 约束感知训练:在训练阶段通过能量函数编码约束,采用能量匹配框架进行模型训练[17] 实验设置与结果 - 模型训练分为两个阶段:第一阶段训练flow matching过程、感知模块与地图分割模块,批大小设为64,学习率未明确,共训练90轮;第二阶段仅对流传匹配过程进行微调,共训练10轮[14][18] - 在NAVSIM V2挑战赛中,CATG在多项关键指标上表现优异,例如第一阶段可驾驶区域合规性达100%,交通信号灯合规性达100%,第二阶段可驾驶区域合规性达95.4416%[19] - 最终以51.3116的扩展PDM综合得分获得亚军[19]