小鹏最新一篇基于潜在思维链世界模型的FutureX,车端可以借鉴...
自动驾驶之心·2025-12-15 06:00

文章核心观点 - 提出一种名为FutureX的新型端到端自动驾驶框架,该框架通过将思维链推理融入潜在世界模型,在执行运动规划前对假设的未来场景进行推理,从而在复杂动态交通环境中生成更安全、更合理的运动规划 [3][8][30] - FutureX的核心创新在于引入了“潜在思维链推理”概念,将推理步骤与潜在世界模型的前向滚动预测相结合,并设计了“自动思考开关”来根据场景复杂度动态选择“思考模式”或“即时模式”,以平衡性能与实时性需求 [3][6][8] - 实验表明,FutureX能显著提升现有端到端基线模型的性能,例如在NAVSIM数据集上,使TransFuser的预测驾驶员模型得分提升了6.2,并在多项指标上达到当前最优性能 [3][13][27] 背景回顾:端到端自动驾驶的挑战与机遇 - 端到端自动驾驶系统通过单一神经网络直接将传感器输入映射为控制输出,执行高效的一次性前向预测,但缺乏在复杂环境中的适应性和可解释性 [5] - 人类驾驶员在决策前会进行未来场景模拟,这种内在推理能力对于在高度动态的交通环境中做出安全决策至关重要,而现有端到端系统缺乏这种能力 [5] - 受大型语言模型中思维链机制的启发,自动驾驶领域开始探索将推理融入规划,但现有方法多停留在文本描述层面,未能与实际的规划和控制过程紧密结合 [6] FutureX框架方法论 - 自动思考开关:评估当前场景的规划难度,决定是否激活潜在世界模型进行额外推理,以在复杂场景中优化轨迹,在简单场景中快速响应 [7][8][18] - 思考模式:当开关激活时,潜在世界模型执行思维链引导的滚动预测,生成一系列未来场景的潜在表征,随后由总结网络利用这些未来信息优化初始轨迹 [3][7][12] - 即时模式:当开关判断为简单场景时,系统绕过世界模型,直接通过策略网络和总结网络快速生成运动规划 [3][7] - 潜在思维链推理:将思维链重新定义为在潜在特征空间内进行的、可学习的“世界模型-策略”循环,每个推理步骤对应世界模型基于一个短期子轨迹进行的未来状态模拟 [6][9][16] - 基于思考的轨迹优化:总结网络以初始轨迹和思维链推理生成的未来潜在状态序列为输入,预测轨迹偏移量,输出优化后的最终轨迹 [17] 实验验证与性能表现 - 在NAVSIM数据集上,FutureX使TransFuser的预测驾驶员模型得分提升了6.2 [3] - 在CARLA的Longest6基准测试中,FutureX在纯视觉和视觉-激光雷达多模态设置下均超越了强大的基线模型(如UniAD、VADv2、TransFuser等),在无过错碰撞、可行驶区域合规、自我进度等多个关键指标上达到最优 [27] - 定性结果显示,FutureX能够通过及时刹车或变道超车来避免碰撞,并能提供更合理的转向规划 [28] - 在效率方面,FutureX通过自动思考开关实现了性能与延迟的平衡,例如在特定配置下,其延迟为31.3毫秒±0.6毫秒,同时PDMS得分达到89.2 [29]