点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 作者 | 行云 编辑 | 自动驾驶之心 原文在这里：https://waymo.com/blog/2025/12/demonstrably-safe-ai-for-autonomous-driving 这份技术Blog是waymo最新好不容易更新的一篇（太久没更） 主要讲了三件事： 端到端新范式下验证安全和可解释性的方法（如原文标题）、智驾大模型基座的车端运行方式、新范式下的数据飞轮 1&2、端到端新范式下验证安全和可解释性的方法和智驾大模型基座 做安全验证和可解释性的方法在这篇文章里，和基座大模型息息相关，所以放在一起。 waymo的基座模型，也是快慢双系统。其中快系统的核心模块是感知，慢系统的核心模块是VLM：基于Gemini的智驾大模型，输入包括驾驶员的语言、传感器的 rawdata和历史信息。输出主要有三方面：轨迹、他车行为预测和高精地图。 这里相对来说比较白盒的是快系统，对应的是上一代的AD方案，值得探究的是慢系统的细节。原文对于慢系统的描述是： ...

多模态大模型技术发展 - 阶跃星辰发布中国首个千亿参数原生多模态大模型Step-1V，基于DreamLLM框架实现图文生成理解一体化 [3] - 多模态领域预计未来2-3年将迎来两个GPT-4时刻：多模态推理和自主学习 [3] - 当前多模态生成理解一体化面临四大挑战：语言对视觉控制能力弱、图文对齐不精确、数据质量有限、生成模块无法反向影响理解模块 [3] 模型规模与能力关系 - 模型参数扩展到万亿级别时出现能力分化：文本生成和知识问答增强，但数学推理能力随规模增长反而下降 [3] - 大模型推理能力下降的核心原因是next token prediction框架更关注压缩率而非推理精度，导致思维跳步现象 [4][37] - Rule-based RL可通过直接优化任务目标来抑制跳步、强化稳定思维路径，显著提升大模型推理能力 [4] 计算机视觉领域挑战 - CV领域难以仅靠视觉数据实现GPT时刻，因静态图像数据中生成、理解与人类对齐三者割裂 [23] - 对比学习和MIM等方法在小模型有效但缺乏scale up特性，因依赖人工设计的不变性而非数据驱动 [15][16] - 视频数据可能成为突破口，因其蕴含更丰富的时空信息和自然对齐关系 [24] 生成理解一体化难题 - 语言模型通过next token prediction天然实现生成理解一体化，但该范式在多模态领域效果有限 [17] - 实验显示外挂生成模块对理解性能无影响，生成模块可控性差，常产生违反物理常识的输出 [29][31] - 复杂度问题是核心障碍：视觉生成需要考虑的因素远超单步推理能力上限 [52] o1范式突破 - o1范式通过引入Meta CoT实现思维链网状结构，允许模型在关键节点反悔重试 [5] - 该范式成功关键在于预训练语料中已存在多样化思维pattern，RL仅需强化而非创造 [51] - 相比传统RL，语言模型预训练大幅压缩action space，使复杂问题可解 [45] 多模态发展路径 - 短期解决方案是利用图文对齐数据，通过语言模态带动视觉智能 [24] - 长期需突破视频数据利用难题，教学视频中的教学行为可提供丰富action space [63] - 高可控生成技术突破将解开生成与推理的相互依赖死锁，目前OpenAI 4o已展现显著进展 [63][64] 模型架构演进 - 当前transformer架构处理long context存在根本缺陷，需建立分层记忆系统 [67] - multi-agent协作架构可有效解决上下文干扰问题，实现情景隔离式推理 [70] - 架构设计应服务于算法需求，如FFA算法可能彻底改变现有训练范式 [74] 自主学习方向 - 当前rule-based RL面临environment scaling瓶颈，需建立内生学习机制 [76] - 从自然语言反馈中提取多维评价信息是实现自主学习的关键技术难点 [78] - 无限长上下文建模和动态环境交互能力是自主智能体的基础要求 [79]

多模态大模型发展现状 - 阶跃星辰发布中国首个千亿参数原生多模态大模型Step-1V 基于业内最早的图文生成理解一体化框架DreamLLM [3] - 多模态领域预计未来2-3年将迎来两个GPT-4时刻：多模态推理和自主学习 [3] - 当前多模态生成理解一体化面临四大挑战：语言对视觉控制能力弱 图文对齐不精确 数据质量有限 生成模块无法反向影响理解模块 [3] 计算机视觉领域瓶颈 - CV领域长期缺乏类似NLP的GPT时刻 主要受限于数据标注依赖和自监督方法局限性 [13][15] - 对比学习和MIM等方法在小模型有效 但缺乏scale up特性 因其学习的不变性来自人工设计而非数据驱动 [16][18][19] - 静态图像数据存在本质缺陷：生成 理解与人类对齐三者割裂 难以实现智能质变 [24][25][26] 多模态技术突破方向 - 短期解决方案是利用图文对齐数据 通过文字的自闭环特性赋予模型智能能力 [27] - 长期需探索视频和具身系统 视频数据蕴含更丰富信息但利用难度更高 [27] - 生成理解一体化需先解决视觉空间CoT问题 当前action space过于受限 [55][56] 大模型训练范式演进 - Next Token Prediction存在本质缺陷：更大模型在数学等推理任务上表现反降 因倾向跳步且优化目标与任务目标存在gap [38][40][42] - Rule-based RL通过直接优化任务目标 可抑制跳步并强化稳定思维路径 [44] - o1范式突破在于激发Meta CoT 允许模型在关键节点反悔重试 使推理从单线变为图状结构 [44][53] 多模态数据影响 - 图文混排训练中生成模块产生的gradient噪声大且信息量低 可能破坏语义理解 [62] - 高质量多模态数据应确保图文强相关 避免无关数据导致模型confuse [63][64] - 视频数据蕴含丰富思维过程但清洗难度大 是扩展action space的重要方向 [65][66] 未来技术趋势 - 多模态GPT时刻预计1年内到来 需解决生成可控性和视觉空间推理问题 [68][69] - 当前long context方案存在注意力涣散问题 未来可能采用multi-agent分层记忆架构 [69][73][74] - 模型自主学习是ASI关键路径 需解决环境scaling和自然语言反馈利用问题 [78][80][82]