在端到端自动驾驶领域，这篇文章是一个典型的"两段式网络架构"中的Planner模型，而且它不是基于BEV feature map进行下游控制任务的，而是直接对于感知输出 的结构化的信息（bbox，lanes等等）进行编码，并作为sequence token输入到decoder中，今天就为大家分享一下。二段式端到端非常适合新人练手： 为了帮助大家理解，网络架构图上我们做了详细的模块注释： 我们先整体上看一下PLUTO有哪些关键点： PLUTO主要有三个损失，主任务的损失包含回归损失和分类损失，共同组成模仿学习的损失。而Agent轨迹预测的损失如下图所示： 同时，PLUTO也添加了几个辅助的损失帮助模型收敛： 1）直击痛点，快速入门 本课程基于Just-in-Time Learning理念，通过通俗易懂的语言和案例，帮助学员短时间内掌握核心技术栈。理解关键概念后，拓展特定领域知识将变得更加轻松。 2）构建领域框架，提升研究能力 本文均出自平台最新推出的 『端到端与VLA自动驾驶小班课』 ，我们联合国内TOP主机厂算法专家共同打造！ 技术专家带你深入端到端与VLA算法原理与技术开 发，目前已经正式开课！ 技术栈多？ ...

25年9月11日字节跳动发布 Harnessing Uncertainty: Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents 对理想的帮助之处在于，理想要做agent，大概率会参考的，一样会遇到类似 学习信号的强度（梯度 大小）与模型决策时的不确定性（熵）存在一种天生的、有害的耦合关系的问题 实际和人类学习挺像的，只要结果正确，就容易过渡强化其步骤正确性（类比销量高了，做啥都是对 的），遇到一个错误的路径，如果非常自信，容易不反思，无法矫正错误。迷茫探索时遇到错误，容 易畏手畏脚，不敢继续探索。 本应该被大力强化的自信且正确的步骤，只得到了微调 。本应该被严厉惩罚的自信且错误的步骤， 也只得到了微调 。而那些本应被谨慎对待的不确定的探索步骤，却承受了最剧烈的奖惩，导致训练 非常不稳定 。 字节这篇论文给出了解决这类问题的思路。 以下为更细化论述： 本质是在讲 解决一个当前LLM Agent训练中的核心困境：如何在最终结果"非成即败"（即稀疏奖励） 的漫长任务中，知道该奖励或惩罚哪一步决策 。 在传统的强化学习中，智能体（Agent） ...

9月15日,备受关注的新能源智能豪华轿车——至境L7首次公开亮相。作为别克高端新能源子品牌"至境"的首款旗舰轿车，至境L7融汇别克百年积淀和百亿 资源投入，诞生于百万级"逍遥"超级融合架构，是目前行业最强的增程豪华轿车。至境L7采用顶级"真龙"增程技术，率先搭载"逍遥智行"辅助驾驶系统， 全球首发上车基于端到端"强化学习"的Momenta R6飞轮大模型，以及高通最新一代SA8775P芯片，带来行业第一梯队的智电体验。此外，至境L7还拥有 越级豪华底盘和豪华舒享座舱，以及对标百万级豪车的配置。目前，至境L7已到达全国别克经销商展厅，并开启早鸟计划：在9月28日前下订，即可享终 身免费保养（详询别克官网或别克授权经销商）。 别克至境L7已到达全国别克经销商展厅，并开启早鸟计划 增程发明者再次定义增程 "真龙"增程破解行业痛点 至境L7基于全新别克"逍遥"超级融合整车架构打造，汇集该架构下驱动、辅助驾驶、豪华舒适等领域的王牌技术于一身，可谓"出道即巅峰"。 全新别克"逍遥"超级融合整车架构 依托通用汽车在增程技术上的深厚积淀，并结合泛亚在新能源驱动领域强大的本土化研发实力，首发搭载行业顶级"真龙"增程系统，完美破 ...

文章核心观点 - 语言是人类实现泛化的核心工具，是构建通用人工智能系统的最本质要素 [4][7][77] - AI Agent发展已进入下半场，重点从模型训练转向任务定义和环境设计 [5][62][63] - 创业公司最大机会在于设计新型人机交互界面，而非重复ChatGPT模式 [110][112][113] - 未来AI生态将呈现既单极又多元格局，由不同超级应用共同定义智能边界 [5][146][154] 姚顺雨背景与研究历程 - 清华姚班本科、普林斯顿博士，2019-2024年在普林斯顿攻读博士学位 [13] - 2016年接触多模态嵌入技术后转向深度学习，2018年系统性开始深度学习研究 [14][15] - 博士期间从计算机视觉转向语言模型研究，因认为语言是实现AGI的更核心方向 [15] - 专注Language Agent研究6年，2024年加入OpenAI [4][19] AI Agent技术演进 - 技术发展三阶段：符号主义AI（规则系统）→深度强化学习（环境特定）→大语言模型（泛化推理）[40][41][43] - 语言智能体与传统Agent本质区别在于具备推理能力从而实现泛化 [36][38][39] - ReAct框架成为最通用方案，实现推理与行动的协同 [26][50] - 代码环境是数字智能体最重要的"手"，提供天然机器表达形式 [53][54][55] 任务与环境设计 - 当前瓶颈从方法创新转向任务定义和环境设计 [62][63] - 优秀任务需具备：结果导向奖励机制、基于规则的白盒评估、可解释性 [64][66][71] - 任务分类标准：可靠性需求型（如客服）vs创造力需求型（如证明猜想）[70][72] - 评估指标需区分Pass@k（多次尝试成功率）和Pass^k（每次成功率）[74] 产业发展与创业机会 - 模型能力溢出为创业公司创造机会，关键在于设计新型交互界面 [110][112] - 成功案例包括Cursor（编程副驾驶）、Manus（通用交互）、Perplexity（研究型搜索）[117][127][129] - 数据飞轮形成需三个条件：自主训练能力、清晰奖励信号、数据好坏分离 [123][124] - 成本不是核心瓶颈，真正关键在于找到价值超过成本的应用场景 [139][141] 未来生态展望 - OpenAI五级能力划分：聊天机器人→推理者→智能体→创新者→组织者 [44][45] - 未来12-24个月趋势：Chatbot系统自然演进为Agent系统，新型Copilot应用涌现 [165][166] - 记忆系统（Memory）将成为核心竞争壁垒，特别是上下文管理能力 [51][158][159] - 最终生态将由多个超级应用共同定义，呈现中心化与分布式并存格局 [146][152][154]

强化学习训练效率瓶颈 - 强化学习训练效率低下 投入巨大但产出缓慢 成为AI基础设施的阿喀琉斯之踵 [1] - Rollout阶段占训练时间超过80% 受内存带宽限制和自回归特性制约 [1] RhymeRL技术创新 - 基于历史数据复用实现效率提升 训练吞吐量提升2.6倍 [2] - 发现相邻训练周期存在95%的历史Token可复用 序列相似性极高 [3] - 响应长度排序稳定 长度分布相似性显著 [4] - 采用HistoSpec技术将投机解码引入RL 以历史响应作为草稿模板 [9] - 通过树状草稿总结和批量验证 将逐字生成转为并行验证 [11][12] - 草稿接受率极高 打破内存带宽限制提升计算密度 [13] - HistoPipe实现跨步互补调度 奇数步由短到长处理 偶数步由长到短处理 [17] - 通过削峰填谷策略将GPU资源浪费降至最低 [19] 性能提升效果 - 在数学和代码任务上实现端到端训练吞吐量提升2.61倍 [21] - 适用于不同模型大小和响应长度场景 加速效果显著 [23] - 减少资源需求并缩短训练时间 加速AI技术迭代 [22] 行业意义 - 提出基于历史信息端到端加速强化学习的新范式 [23] - 充分发挥系统调度能力与硬件算力资源 适配现有训练算法 [23]

GRPO策略类型分析 - GRPO最初设计和常用实现是在线策略(on-policy)方法 其优势估计依赖于当前策略生成的样本[3][6] - 通过重要性采样等技术可扩展为离线策略(off-policy)版本 已有工作研究这种扩展在样本效率和稳定性方面的权衡[3][4] - 原始GRPO使用当前策略生成的一组候选完成来计算组内相对优势 并在此批次上构造类似PPO的代理目标更新策略[5][6] 重要性采样技术 - 重要性采样是离线策略评估的核心方法 通过行为策略数据评估目标策略价值[8] - 核心公式使用重要性权重修正分布差异 单步权重为$w_t=\frac{\pi_t(a_t|s_t)}{\pi_b(a_t|s_t)}$ 轨迹权重为$W_T=\prod_{t=0}^T w_t$[12][13] - 加权重要性采样通过归一化权重降低方差 公式为${\hat{V}}^{\pi_t}(s_0)=\sum_{i=1}^N\left(\frac{W_T^{(i)}}{\sum_{j=1}^N W_T^{(j)}}\right)\cdot G_0^{(i)}$[16] GSPO与DAPO算法改进 - GSPO解决GRPO/PPO在长序列训练中的高方差问题 将重要性比率提升到序列级并做长度归一化[18][22] - DAPO针对长思维链训练提出四项工程技术：非对称裁剪 动态采样 token级策略梯度损失和过长奖励整形[20][24] - GSPO目标函数为$J_{\mathrm{GSPO}}(\theta)=\mathbb{E}_{x\sim D,\{y_i\}\sim\pi_{\mathrm{id}}}\left[\frac{1}{G}\sum_{i=1}^G\operatorname*{min}\Bigl(s_i(\theta)\hat{A}_i,\mathrm{clip}(s_i(\theta),1-\varepsilon,1+\varepsilon)\hat{A}_i\Bigr)\right]$[23] 熵崩溃问题与解决方案 - 熵崩溃指策略熵急速下降导致确定性输出 在训练阶段需要避免以保持探索能力[27][33] - 解决方案包括熵正则化 KL约束 非对称裁剪 动态采样和序列级重要性比率[32][37] - 监控指标包括策略熵曲线 KL距离变化和奖励分布特征[35][36] 奖励劫持与熵崩溃关系 - 奖励劫持是目标错位问题 熵崩溃是策略行为失衡症状 二者常相互强化形成恶性循环[41][51] - 奖励劫持导致策略快速确定化 熵崩溃使系统难以跳出奖励劫持的局部最优[43][44] - 解决方案需从奖励设计和训练稳定性两端入手 包括修正奖励函数 增加惩罚项和使用多样化评价信号[47][51] MLA加速推理技术 - MLA通过低秩潜在向量压缩Key/Value 只缓存潜在向量而非完整K/V[52][55] - 在内存带宽受限场景可减少45% KV缓存内存 实现1.3-1.8倍推理加速[52][64] - 技术实现包括潜在向量压缩和实时上投影计算 公式为$C_t = X_t W_C$ $K = C W_{K\_up}$ $V = C W_{V\_up}$[54][61]

文章核心观点 - OpenAI最新研究揭示语言模型幻觉产生的根本原因在于其统计学习本质，且后训练过程在当前评估体系下未能有效抑制幻觉，GPT-5可能通过非二元评估技术显著降低幻觉率 [9][12][24][32] 幻觉产生的必然性 - 幻觉是语言模型预训练阶段不可避免的副产品，因模型本质是通过统计规律生成内容，而非真实判断 [11][12] - 模型通过"是否有效"（IIV）判断器评估句子概率，但面对数据稀疏、复杂概念或训练数据错误时必然失效 [13][14] - 生成模型的错误率至少是IIV判断器错误率的2倍，因单个判断错误会衍生多种幻觉（如1+1=3和1+1≠2均属幻觉） [15][16] 后训练的局限性 - 后训练通过偏好反馈改变概率分布，将概率集中到"最佳答案"以减少不确定性幻觉，但可能增加过度自信风险 [19][20] - 主流评估基准（如GPQA、MMLU-Pro、SWE-bench）采用二元评分制，仅区分正确（1分）或错误（0分），系统性地惩罚"我不知道"的回答 [21][23] - 当前评估标准奖励猜测行为而非诚实回答，导致后训练在实践中未能有效引导模型降低幻觉 [24] 模型性能对比与技术路径 - DeepSeek R1采用二元奖励模型（ORM），在Vectara HHEM测试中幻觉率达14.3%，远高于其预训练模型DeepSeek V3的3.9% [30][31] - OpenAI o3使用过程奖励模型（PRM），通过逐步推理反馈降低幻觉率至6.8%，仅为DeepSeek R1的一半 [32] - GPT-5可能引入Universal Verifier技术，采用非二元评估标准（如评分细则Rubric），从根源上减少二元激励的负面影响 [32] 解决方向 - 后训练需引入带惩罚的评分机制，例如答对得1分、答错扣1分、过度自信答错扣9分，迫使模型成为"风险评估器"而非"得分优化器" [33] - 模型需专注于真实性而非单纯得分优化，才可能从根本上解决幻觉问题 [34]

腾讯刚辟谣「姚顺雨入职」，但行业并未松口气： 顶尖智能体人才去哪儿，或将决定AI下半场的走向。27岁、清华姚班、普林斯顿博士、OpenAI智能体核心项目，引用过万……他提出「评测将比训练更 重要」，把研究拉向产品与可度量价值。 姚顺雨昨天被传加入腾讯，今早「第37手」和腾讯旗下的「鹅厂黑板报」正式辟谣！ | 为什么姚顺雨能引起行业如此大的关注？为什么会传出来一亿人民币的天价薪酬传闻？ | | --- | | 自然少不了Meta在硅谷的天价挖角：小扎给OpenAI核心研究员的报价就是1亿美元！ | | 如此看来，一亿人民币绝对不算高；同理，如果他入职国内公司，谁给得起1亿美元的薪酬包？ | | 他绝对值得Meta给出1亿美元的报价——他是Deep Research的核心贡献者。 | 要知道，作为OpenAI Deep Research的核心贡献者Hyung Won Chuang已经加入了Meta的超级智能实验室。 这是OpenAI迈向AGI Levele 3的关键一步，代表着OpenAI将大模型能力落地为可自主执行复杂多步任务的实用型产品，开启从「会聊天」到「会办事」 的关键跃迁。 这次辟谣只能说明姚顺雨没去腾 ...

行业投资评级 - 报告未明确给出具体的行业投资评级 [1][2][3][4][5][6] 核心观点 - 图灵奖得主理查德·萨顿提出AI发展正进入"经验时代"，强调自主交互与环境反馈为核心，强化学习与多智能体协作是实现该愿景的关键路径 [1] - 当前机器学习多数局限于对人类已有知识的静态迁移，真正能创造新知识的系统需依靠智能体在与环境直接交互中持续生成数据 [1] - 社会对AI偏见、失业及生存风险的担忧被过度放大，应通过多智能体协作机制实现共赢 [1] - 萨顿提出"四条预测原则"：价值观多元共存、人类将深入理解并创造智能、超级AI或人机增强系统终将超越人类智力、权力与资源将向最高效智能体集中且"替代"成为必然 [1] - 宇宙演进被划分为粒子、恒星、复制者与设计四个时代，人类核心使命在于推进"设计"，AI是迈向"设计时代"不可或缺的动力 [1] 技术范式转变 - 数据定义从静态人类语料转变为动态智能体-环境交互轨迹，意味着学习目标与系统架构的根本重构：从被动拟合数据分布转向主动预测并控制自身观测输入的能力 [2] - AlphaGo自我博弈与AlphaProof生成式推理被视为"经验优先"方法论的有效验证 [2] - 产业落地需将模型从"信息消费"角色转变为可与环境实时交互、闭环试错并持续积累能力的"智能作用体" [2] - 企业需构建具备高频交互、在线评估与能力沉淀功能的智能体运营（Agent-Ops）体系，以实现新知识自动生成与跨任务迁移 [2] 技术瓶颈与研发重点 - 强化学习核心瓶颈并非模型参数规模，而在于时间维度与任务序列处理能力，具体表现为持续学习与元学习两大短板的制约 [3] - 持续学习需克服灾难性遗忘，实现动态表征与非平稳环境中的稳定收敛；元学习要求模型具备跨任务快速迁移与重组能力，训练评估单位需从"样本"升级为"任务" [3] - 这两项能力决定系统是否具备长期演进与泛化复用潜力：缺乏则仅适用于封闭短周期任务，突破则有望在开放环境中越用越强 [3] - 企业研发重心应从追求单点性能突破（SOTA）转向构建长周期评估体系、非平稳任务基准，以及推进记忆机制、规划架构与探索策略的工程化与系统集成 [3] 多智能体协作与治理 - "去中心化协作"不仅是技术架构选择，更是关乎系统治理机制的重要命题，需将机制设计理念引入AI系统工程实践 [4] - 多智能体协作类比市场与政府分工机制，其有效运作依赖明确激励、透明协议及可验证合约的支撑 [4] - 若"权力与资源向最高效智能体集中"成为趋势，需构建三方面基础制度：开放接口与可组合协议防范垄断、合作与对抗并存的博弈测试体系避免激励扭曲、可审计可追溯的责任认定工具量化协作外部性 [4] - 缺乏系统性治理设计，"去中心化"易流于概念，难以实现可持续可信赖的协作生态 [4] 人机协作与组织变革 - AI替代集中于任务层级而非完整岗位，企业应主动推进任务解构与流程重组，系统化布局人机协作体系 [5] - 具体路径包括：制定明确的人机分工框架形成"人类决策—AI探索—AI执行—人类审计"闭环机制、构建经验采集与策略回灌体系将交互数据沉淀为可复用策略资产、改革绩效管理机制以协同效率为导向的KPI替代单一产出指标 [5] - 该体系顺应AI替代带来的效率提升需求，为可持续人机协同提供制度化抓手，有助于企业在智能化转型中保持竞争力和控制力 [5]

商报讯（记者 张玲丽 吕文鹃）昨天上午，以"重塑创新增长"为主题的2025 Inclusion·外滩大会在上海黄 浦世博园区开幕，来自16个国家和地区的550位嘉宾参会分享，包括新晋图灵奖得主理查德·萨顿 （Richard Sutton），阿里云创始人、之江实验室主任王坚，"人类简史系列"作者尤瓦尔·赫拉利（Yuval Noah Harari），宇树科技创始人兼首席执行官王兴兴等全球顶尖学者、产业界人士、青年创业者和科学 家，共同探索智能时代的创新路径与商业未来。 今年大会内容呈现国际化、多元化特色，聚焦"金融科技""人工智能与产业""创新创投生态""全球对话 与合作""负责任创新与普惠未来"五大内容主线，设置了1场开幕主论坛、44场见解论坛、科技展览和系 列科创活动。作为年度备受瞩目的金融科技盛会，外滩大会以其开放、多元、前瞻性吸引全球目光，被 誉为"亚洲三大金融科技盛会"之一。 图灵奖得主理查德·萨顿外滩大会分享 人工智能进入"经验时代" ，潜力远超以往 在昨天上午的开幕主论坛上，2024年图灵奖得主、"强化学习之父"理查德·萨顿（Richard Sutto n）发表 主旨演讲，他认为，人类数据红利正逼近 ...