文章核心观点 - 香港中文大学（深圳）与中山大学等团队提出名为AdaDrive的自适应协作快慢框架，旨在解决大语言模型融入自动驾驶系统时面临的计算开销与实时性平衡难题 [2] - 该框架通过自适应激活损失动态判断LLM调用时机，并引入自适应融合策略连续调节LLM对传统规划器的影响强度，实现按需激活与无缝协作 [2] - 在语言引导的自动驾驶基准测试中，AdaDrive在驾驶准确率与计算效率两方面均达到最先进性能 [3] 背景与挑战 - 早期方法如LMDrive和AD-H采用同步串行架构，LLM与规划器在每个驾驶步骤都参与运作，虽提升智能性但引入巨大内存开销与延迟，使实时部署面临挑战 [4] - 后续异步策略采用固定间隔激活LLM，但无法适应动态变化的驾驶场景，在安全关键场景中LLM可能未被激活，而在简单场景中激活则显得多余 [7] - 理想框架需具备动态决定LLM激活时机以及自适应控制LLM影响程度的能力 [7] AdaDrive算法架构 - 系统采用快慢路径并行运行，轻量级规划器作为快速路径高频处理每帧图像，LLM作为慢速路径低频激活并在关键场景下提供辅助 [13] - 通过Connector-W和Connector-H两个组件实现自适应整合，分别负责决定LLM激活时机和控制其贡献程度 [13][19] - Connector-W通过新颖的自适应激活损失，基于对比LLM辅助与无辅助预测结果的轨迹损失差异，动态学习LLM的最优激活条件 [20] - Connector-H利用预测置信度分数作为动态加权系数，实现LLM贡献的连续缩放，而非二元决策，公式为轨迹预测统一表示 [21][22] 技术创新点 - 提出长短时Q转换器（LS-Qformer），通过分组机制将可学习令牌分为长时组和短时组，同时提取当前帧关键特征并建模时序特征演变 [24] - 引入传播式记忆融合（PMF）机制，在固定大小的流式内存缓冲区中，将待淘汰帧的特征合并到其前一帧，实现信息前向传播并优化内存效率 [28] - 自适应LLM激活机制在训练中通过损失函数自然学习，确保仅当LLM贡献显著（差值超过预设阈值d=0.3）时才激活，以控制计算开销 [20] 实验性能结果 - 在LangAuto基准测试上，AdaDrive在LangAuto-Tiny和LangAuto-Short子任务的驾驶分数分别达到80.9%和70.6%，较排名第二的方法优势分别为12.9%和16.3% [31][32] - 在推理效率方面，自适应快慢系统与流式内存缓冲区设计使AdaDrive的GFLOPs较连续LLM激活降低62%，同时驾驶分数提升5.6% [33][38] - 消融实验表明，单独使用LS-Qformer可使驾驶分数从67.4%提升至71.9%，增加Connector-W后进一步提升至77.9%，最终完整系统达到80.9% [34][35] - LS-Qformer（20+20令牌）在驾驶分数上优于标准Qformer（75.8%）、SeqQ-Former（77.6%）等变体，达到80.9% [35]