文章核心观点 - 南洋理工大学与哈佛大学联合提出名为OpenREAD的全新框架，旨在通过强化学习全面提升视觉语言大模型在自动驾驶领域的推理与规划能力[4] - 该框架的核心创新在于，通过引入大语言模型作为“评判专家”，将强化学习的应用范围从传统的、可验证的轨迹规划任务，成功拓展至“驾驶建议”、“场景分析”等开放式知识学习任务，实现了高层语义推理与低层轨迹规划的端到端协同强化微调[6] - 实验结果表明，该框架在驾驶知识评测和轨迹规划任务上均取得了当前最优的性能，证明了协同学习驾驶知识与轨迹规划的必要性和有效性[6][17][28] 方法 - 数据准备与冷启动：为应对开放式知识学习的奖励设计挑战，研究构建了带显式思维链的驾驶知识数据，并将OmniDrive数据集转换为适用于强化学习的“思考+回答”格式[7][8][9]。随后利用带思维链的数据进行监督微调，为模型提供冷启动，使其获得基础的思考与推理能力[12] - 引入大语言模型作为奖励函数：在强化学习微调阶段，引入Qwen3-LLM作为“评判专家”，由其判断模型生成答案与参考答案是否一致，并给予0或1的奖励[12]。同时，计算生成答案与参考答案的嵌入向量余弦相似度作为额外奖励，形成“专家判断+语义相似度”的双重奖励机制，以鼓励模型输出既正确又简洁的高质量回答[12] - 驾驶知识与轨迹规划的协同训练：框架将强化学习同时应用于驾驶知识推理与轨迹规划任务[13]。对于轨迹规划，设计了基于轨迹误差的奖励函数，对近距离时间点的误差要求更严格，对远距离误差更宽容，以平衡安全性与规划精度[13]。在训练中，为批次内不同类型的任务分别计算奖励，最后综合用于更新模型参数，促使模型在知识推理与路径规划间建立联系[13] 实验结果 - 协同训练效果验证：在LingoQA和NuScenes数据集上的实验表明，仅使用轨迹规划任务时，强化学习微调带来的提升有限[17]。随着引入驾驶知识数据进行协同训练，强化学习微调的效果显著增强[17]。在最终使用轨迹规划、伪轨迹分析和LingoQA数据协同训练2个周期后，强化学习微调模型在轨迹平均L2误差、碰撞率和知识评测上均超越了监督微调模型[19]。具体表现为：平均L2误差从监督微调的0.44米降至0.40米，平均碰撞率从0.18%降至0.11%，LingoQA知识评测准确率从68.0%提升至68.8%[19] - 轨迹规划性能对比：在NuScenes开环评测中，OpenREAD的轨迹规划性能优于多种现有方法[20]。其3秒时的L2误差为0.63米，平均碰撞率为0.11%，在碰撞控制方面表现出色，保证了驾驶安全性[21]。与同样使用GRPO进行强化学习微调的AutoVLA相比，OpenREAD在轨迹误差和碰撞率控制上均更优，突显了引入驾驶知识对下游任务的重要性[20] - 驾驶知识评测对比：在LingoQA驾驶知识评测中，OpenREAD取得了当前最优的表现，其Lingo-Judge准确率达到68.2%，超过了其他对比模型如ReCogDrive（67.8%）和WiseAD（60.4%）[22]