当城市早高峰的车流数据实时涌入交通管控系统，当医院的心电图仪持续记录患者的心脏电活动，当股票交易所的行情面板每秒刷新数十次股价波动——这些伴 随时间流逝不断产生的"时间序列数据"，早已成为现代社会运转的"数字脉搏"。从金融风控、医疗诊断到能源调度、交通管理，几乎所有关键领域的决策，都依赖 于对这些 时序数据 的深度解读。 过去数十年间，时间序列分析领域涌现出了从经典统计模型（如ARIMA、ETS）到深度学习方法（如LSTM、Transformer）的大量技术，它们在"预测未来""识别 异常"等基础任务上取得了显著进展。例如，早期用LSTM预测未来24小时的城市用电量，用CNN检测心电图中的心律失常片段，这些传统技术早已落地于实际场 景。 但随着应用需求的不断升级，传统方法的"能力边界"逐渐显现。在个性化医疗场景中，医生不仅需要模型判断"患者是否存在心律异常"，更需要知道"异常与哪些 生理指标、哪个时间段的活动相关"；在自适应风险管理中，基金经理不仅需要股价预测结果，更需要理解"若政策调整，股价可能如何变化"的因果逻辑；在 autonomous 交通系统中，控制器不仅要检测拥堵，还需实时调整信号策略并验证效果— ...

摘要与引言 这篇综述探讨了将大语言模型（LLMs）和多模态大语言模型（MLLMs）等大型基础模型应用于自动驾驶轨迹预测的新范式 。这种方法通过整合语言 和情境知识，使自动驾驶系统能更深入地理解复杂的交通场景，从而提升安全性和效率。文章回顾了从传统方法到由 LFM 引入的范式转变，涵盖了车 辆和行人的预测任务、常用的评估指标和相关数据集 。它详细介绍了LLM的三种关键应用方法： 轨迹-语言映射、多模态融合和基于约束的推理 ，这 些方法显著提高了预测的可解释性和在长尾场景中的鲁棒性 。尽管LLM有诸多优势，但也面临计算延迟、数据稀缺和真实世界鲁棒性等挑战 。 图1展示了自动驾驶中"感知-预测-规划与控制"的闭环过程，突出了LFM如何帮助自动驾驶车辆预测其他交通参与者的轨迹 。 论文链接：https://www.arxiv.org/abs/2509.10570 作者单位：西交利物浦大学，澳门大学，利物浦大学，香港科技大学（广州） 图2则以时间线形式展示了轨迹预测方法的演变，从基于物理模型、机器学习、深度学习到最新的LFM方法 。 轨迹预测概述 轨迹预测是自动驾驶的核心技术，它利用历史数据（如位置和速度）以及上下文信 ...

自进化智能体综述核心观点 - 大语言模型本质上是静态的 无法在面对新任务 不断进化的知识领域或动态交互环境时调整其内部参数 这已成为开放交互式环境部署的关键瓶颈[2][3] - 自进化智能体代表人工智能领域的范式转变 从扩展静态模型转向开发能够从数据 交互和经验中持续学习与适应的系统 这是通往人工超级智能(ASI)的关键路径[3][4] - 综述首次系统性地围绕三个基础维度组织该领域：进化对象(what) 进化时机(when)和进化机制(how) 为理解与设计自进化智能体提供结构化框架[3][6] 进化对象(What to Evolve) - 智能体系统可分解为四个基本进化支柱：模型(推理和行为参数) 上下文(指令和长期记忆) 工具集(外部技能创建和管理) 以及架构(系统协作结构)[19] - 进化机制涵盖策略 经验 提示 记忆 工具创建与掌握 架构选择等多个维度 不同方法在各维度有不同侧重 例如Mem0在7个维度均有进化 MAS-Zero侧重模型和经验进化[20] 进化时机(When to Evolve) - 按时间阶段分为测试时内自进化(任务执行期间实时适应)和测试时外自进化(任务完成间利用积累经验提升未来表现)[22] - 测试时内进化具有在线性 学习数据动态产生且直接针对当前问题 测试时外进化具有回顾性 作用于历史数据旨在提高任务分布预期性能[23] - 进化依赖三种基本学习范式：上下文学习(ICL) 监督微调(SFT)和强化学习(RL) 在不同时间背景下数据可用性和学习目标存在差异[23] 进化机制(How to Evolve) - 主要方法家族包括基于奖励的进化(标量奖励 自然语言反馈 外部信号) 模仿与示范学习(高质量范例学习) 以及基于群体和进化的方法(选择 变异 交叉等机制)[27] - 不同方法在反馈类型 数据源 奖励粒度 样本效率 稳定性和可扩展性等方面存在显著差异 例如基于奖励的方法对奖励设计敏感 模仿学习受示范质量影响大 群体方法资源密集但可扩展性好[29] 应用场景(Where to Evolve) - 应用系统分为通用领域进化(数字领域各种任务能力扩展)和专用领域进化(特定领域专业知识深化) 前者侧重经验迁移 后者侧重领域深化[31] - 关键应用领域包括自主软件工程 个性化教育 医疗保健和智能虚拟助手等 持续适应和进化在这些领域至关重要[10][38] 评估体系(Evaluation) - 评估需超越传统静态系统 涵盖随时间推移的适应能力 知识积累与保留 长期泛化能力以及技能迁移 同时减轻灾难性遗忘[34] - 现有基准如ScienceAgentBench(102任务) SWE-bench(2,294任务) WebShop(12,087任务)等 在任务领域 核心指标和时空范围上各有侧重[36] - 个性化评估需开发更轻量级 适应性指标和动态基准 传统ROUGE和BLEU等指标无法充分捕捉动态进化特性[39] 技术挑战与研究方向 - 泛化能力面临专业化与广泛适应性矛盾 需可扩展架构设计 跨领域适应技术(测试时扩展 推理时适应)以及持续学习与灾难性遗忘解决方案[40][42] - 安全与可控性需应对用户相关风险和环境风险 通过智能体宪法 安全训练算法和隐私保护措施实现平衡部署[43][44] - 多智能体生态系统需平衡个体与集体推理 开发高效算法和自适应框架 并建立动态评估基准反映持续适应和演变交互[45]

大语言模型：编程本质的颠覆性变革 和这个领域的大多数 "话痨" 一样，我一直密切关注生成式 AI 系统在软件开发中可能扮演的角色。 我认为，大语言模型（LLMs）的出现对软件开发的变革程度，堪比从汇编语言到第一代高级编程语言的转变。 Martin Fowler 是全球知名的软件开发专家，他是敏捷软件开发宣言的 17 位创始人之一，并在软件设计、重构和领域驱动设计（DDD）等领域具有深远影响。他最 著名的著作是《重构：改善既有代码的设计》，成为全球程序员必读的经典之一。 前段时间，小程程发过一些技术大佬关于 AI 或 LLM 的看法： 前段时间，Martin Fowler 也分享一篇关于对 LLM 看法的文章。 我把原文扔给大模型了，译文如下： 拥抱不确定性：软件开发的新生存法则 到目前为止，我只是浅尝辄止地接触过一些顶尖的生成式 AI 工具，但听朋友们和同事们分享他们的使用体验时，我还是深感着迷。 语言和框架的进一步发展，虽然提升了我们的抽象水平和生产效率，但并未从根本上改变编程的 "本质"。 而大语言模型带来的影响则达到了这一程度，而且其特别之处在于，它不仅提升了抽象层次，还迫使我们重新思考，使用非确定性工 ...

美国科技行业就业市场变化 - 自2022年11月ChatGPT推出后 美国技术岗位发生巨大变化 部分岗位需求断崖式下跌 但另一些岗位企业需求旺盛[1] - 2023年美国开启史上最大裁员潮 IT技术岗招聘市场元气未复 裁员潮已缓解 招聘活动逐渐回暖 但新增岗位数量有限 远不足以填补过去流失职位[2] - 科技大厂软件工程师平均任期显著增长 反映大厂不再积极招聘或员工更不愿换工作 招聘竞争较之前繁荣期更激烈[6] 岗位需求分化 - 移动开发者需求下降72% Java开发者下降70% 前端开发者下降69% 云计算架构师下降69% 软件工程经理下降69% 网站可靠性工程师下降68% 后端开发者下降68%[10] - Workday集成负责人需求增长203% SAP负责人增长105% Oracle HCM经理增长101% SAP顾问增长61% AI架构师增长48% Dynamics 365架构师增长30% 数据中心技术员增长23% Oracle顾问增长5%[10] - 顶尖科技公司和初创公司持续扩大软件工程岗位数量 增速缓慢但稳定增加 资深职位主导招聘[11] 企业招聘动态 - 苹果开放2177个岗位 IBM开放1924个岗位 亚马逊开放1794个岗位 为招聘量最大三家科技公司[13][14] - 甲骨文开放1396个岗位 TikTok开放1367个岗位 英伟达开放871个岗位 谷歌开放810个岗位 微软开放735个岗位[14] - Speechify作为文本转语音初创公司 虽仅融资1000万美元 但在多国发布800多个工程岗位 Anduril作为国防科技初创公司 获美国政府合同并融资25亿美元 招聘规模与Meta相当[20] - 咨询公司NTT Data和DXC Technology积极招聘 可能得益于AI咨询业务增长[20] 岗位级别分布 - 高级职位数量几乎与中级别和入门级职位相当 超过一半开放职位在资深级别以上[21][24] - 资深工程师级别以上职位空缺数量下降 可能促使资深工程师申请较低级别职位[24] - TrueUp上大多数岗位来自成功上市技术公司 这些公司提供高薪职位 公开交易公司拥有最多高薪职位空缺[25][28] AI工程师岗位需求 - AI工程师成为科技行业最热门职位 招聘需求自2023年中期以来爆炸式增长[29] - 软件工程师转行AI工程师相对容易 只需学会基于大语言模型开发应用 本质是利用软件工程思维操作LLMs[32][34][35] - 旧金山湾区AI工程师职位数量占全美近三分之一 比其后九个地区总和还多[36][37] - TikTok招聘457个AI工程师岗位 苹果招聘360个 亚马逊招聘191个 字节跳动招聘166个 英伟达招聘164个 Speechify招聘159个[40] - AI工程师技术要求包括Python LLM PyTorch AWS TensorFlow C++ Google Cloud Kubernetes Azure Java[42] AI工程职位特点 - AI工程职位分为三类：平台岗位聚焦通用工具与基础设施 产品岗位直接嵌入产品团队 通用岗位要求宽泛 专精岗位专攻语音识别或强化学习 绝大多数岗位只需集成现成模型[45] - 进入顶级AI公司最可靠路径是在科技巨头或知名AI公司积累经验 知名公司员工内部流动频繁[45][47] 科技公司人员变化 - 过去12个月科技大厂招聘重新加速 招聘速度已超过前两年水平[48] - Meta招聘强势反弹 2023年工程人员减少约12% 现为招聘最多工程师公司[51] - 谷歌工程人员较2022年增长16% 苹果增长13% 苹果是唯一未进行大规模裁员科技巨头[52] - 亚马逊工程人员较2022年仅增长8% 微软从2023年初起几乎无增长[53] - 英伟达工程人员自2022年1月以来激增58% Netflix自2023年中期以来增长40% Stripe截至2025年8月较2022年初增长32% Uber过去三年增长20%[54][55] - Shopify工程人员较2022年初减少22% Spotify减少16% Twilio减少28% 微软减少5% Oracle减少2%[58][59][60][61] 快速增长企业 - Deel登顶员工规模1000+企业增长榜首 Figma刚刚上市 工程招聘投入获回报 未来可能保持增长[66][67] 地域分布与经验要求 - 旧金山湾区招聘9072个岗位 班加罗尔招聘5714个 美国远程岗位招聘4135个 纽约招聘2514个 西雅图招聘2469个[73] - 旧金山湾区岗位占比接近20% 为全球科技招聘核心[74] - 0-5年经验软件工程师失业率接近15% 5年以上经验工程师失业率明显更低 公司更偏向招聘资深工程师[71] - 湾区软件工程师跳槽率最高 0-5年经验跳槽率28% 5-15年经验跳槽率15% 15年以上经验跳槽率仅10%[76][79] 任职年限与流动趋势 - 科技大厂平均任职年限自2022年年中以来显著上升 过去三年普遍增加约2年 反映招聘放缓及员工不愿离职[80][83] - 五大科技巨头主要彼此挖人 外加英特尔 高通 TikTok 甲骨文等 类似岗位减少使横向流动空间缩小[85] - 工程管理人员跳出大厂后转向自由职业或自雇比例更高 因中层管理岗位收缩且职位稀缺[87] 管理岗位变化 - 工程经理招聘较软件工程招聘更适度 亚马逊削减最多工程经理 其他公司工程经理数量与两年前大致相同或略多[92][94] - 除苹果外 所有大型科技公司都削减总监及以上职位 亚马逊工程总监及以上职位减少16%[95][97] 远程工作趋势 - 远程岗位比例从一年前25%下滑至20% 顶级科技公司仅五分之一岗位支持全远程[98] - AI工程岗位远程机会略有上升 但可能阶段性[100] - 远程工作薪酬普遍下滑10-15% 纽约本地中级岗位薪资18-25万美元/年 全美远程岗位仅11万美元/年 欧洲远程合同工时薪50-65美元[102]

基准设计背景 - 当前具身AI基准存在显著割裂：高层语言指令遵循类基准假设低层执行完美，低层控制类基准仅依赖简单单步指令，导致无法全面评估任务规划与物理执行集成的系统[4] - Kitchen-R基准填补了该空白，通过仿真厨房环境统一评估任务规划与低层控制，为语言引导机器人代理提供更全面、更贴近真实场景的测试平台[6] 核心功能特点 - 基于Isaac Sim构建真实厨房的数字孪生环境，支持mobile ALOHA移动操作机器人[8][9] - 包含500+条复杂语言指令，覆盖移动操作任务[8][9] - 提供三种评估模式：独立评估规划模块、独立评估控制策略、全系统集成评估[8][9] - 已用于2024年AIJ竞赛具身AI赛道数据收集与验证，累计收集约2700条移动操作轨迹[9] 技术架构 - 任务规划子问题输入自然语言指令和场景俯视图，输出可执行任务计划（如"移动到水槽区→拾取杯子→移动到餐桌区→放置杯子"）[19] - 移动操作子问题输入单步任务和双相机视觉信息，输出10维轨迹点序列（含底座速度、末端执行器位姿及夹爪开合度）[19] - 导航模块采用Theta*算法进行路径规划，低层控制器通过动态速度调整实现精准移动[31][37] - 操作模块基于RMPs运动控制和10阶段有限状态机，通过余弦混合运动插值确保动作平滑过渡[33][35] 评估指标体系 - 离线独立评估指标：任务规划采用精确匹配率（EM），移动操作采用均方误差（MSE），综合指标P融合两者性能[20][21][22] - 在线联合评估指标：实时执行任务时计算EM与成功率（SR），最终合并为指标M，高M值表示规划准确且执行可靠[23][26][29] - 单任务成功标准：导航任务要求机器人底座与目标距离≤10cm，操作任务要求物体与目标距离≤5cm，且需在120秒内完成[28] 基线方法性能 - VLM规划基线基于OmniFusion模型，通过添加上下文计划示例使EM指标从0提升至0.612，约束生成进一步优化至0.632[47][48] - 移动操作基线采用Diffusion Policy，融合双相机视觉特征和10维机器人状态，通过交叉注意力机制预测未来16步动作轨迹[49][52] - 执行效率对比：oracle政策单episode耗时约1分钟，而高推理时间政策最长需50分钟[57] 系统扩展性 - 支持场景/物体添加：通过配置USD文件路径实现新场景或物体导入[42] - 支持多模态数据收集：包括RGB-D图像和点云数据，传感器可通过模型配置灵活添加[42] - 任务创建基于"移动、拾取、放置"三个基础动作，通过配置文件定义关键点位和物体列表[42]

公司产品与定位 - 公司开发了配备5000多个AI智能体的智能电子表格Paradigm 支持用户为不同列和单元格分配专属指令 AI智能体会自动爬取网络查找并填充信息[3] - 产品支持Anthropic、OpenAI和Google Gemini的AI模型 并能进行模型切换 旨在提供最高质量推理输出和最经济方案[3] - 采用基于使用量的分级订阅模式 吸引了从咨询顾问到销售专员及财务人员等各类用户[3] - 公司不将自身视为AI驱动的电子表格 而是一种新型AI驱动的工作流 采用电子表格形式但未来形态可能变化[5] 融资与商业进展 - 公司完成由General Catalyst领投的500万美元种子轮融资 迄今融资总额达700万美元[3] - 早期客户包括咨询公司安永、AI芯片初创企业Etched以及AI编程公司Cognition[4] - 部分被推介对象持续付费使用产品 包括投资方及未参与投资的潜在投资人[4] 行业竞争环境 - 竞争对手包括成立3年的初创企业Quadratic 已获得超过600万美元风投 拥有相似目标[4] - 传统企业如谷歌和微软也正在为其电子表格应用添加AI工具[4]

技术突破与性能表现 - 上海交通大学DENG Lab与加州大学圣地亚哥分校联合推出Discrete Diffusion Forcing（D2F）技术，首次使开源扩散大语言模型（dLLMs）的生成速度显著超过同等规模的自回归（AR）模型[2] - D2F模型在GSM8K等基准测试中实现相比LLaMA3等主流AR模型高达2.5倍的吞吐量提升[2][6] - 该技术为原始dLLMs带来最高达50倍的加速，同时保持平均性能不下降[4][22] 技术瓶颈与解决方案 - 现有dLLMs存在KV缓存不兼容性问题，导致无法直接应用AR模型的KV缓存加速技术，造成巨大计算冗余[8] - 块间解码存在串行限制，要求前一个块完全解码后才能处理下一个块，极大限制了并行潜力[8] - D2F通过块级因果注意力机制重塑双向注意力，使dLLMs兼容KV缓存，大幅减少冗余计算[12] - 采用自回归-扩散混合范式，协同设计模型架构、训练方法及推理策略[11] 核心技术创新 - 引入块级自回归生成架构，块间保持因果性，有效利用KV缓存[15] - 实现块内token间并行解码和块间并行解码，最大化并行生成潜力[15] - 设计双状态解码流水线（半激活状态和全激活状态），通过动态解码窗口最大化吞吐量[15][20][21] - 集成vLLM进一步优化推理速度[15] 训练方法优化 - 采用非对称蒸馏策略，将预训练dLLMs教师模型能力高效蒸馏到D2F学生模型[18] - 引入单调递增的结构化噪声调度，训练中序列靠前块施加较小噪声，靠后块施加更大噪声[18] - 该训练方式教会模型依据部分去噪的前文预测后文，解锁块间并行能力[18] 实测性能数据 - 在GSM8K测试中D2F-LLaDA实现52.5 TPS（7.3倍于基线）和2.8秒延迟（11.5倍加速）[23] - 在MBPP测试中D2F-LLaDA达到47.6 TPS（52.9倍于基线）和1.4秒延迟（51倍加速）[23] - 在HumanEval测试中D2F-LLaDA取得81.6 TPS（29.1倍于基线）和1.6秒延迟（24.3倍加速）[23] - D2F-Dream模型在GSM8K测试中实现91.2 TPS（9.6倍于基线）和2.8秒延迟（9.6倍加速）[24] 技术影响与未来展望 - D2F成功证明AR和Diffusion并非完全对立范式，通过混合框架设计可融合AR模型缓存优势与dLLMs并行优势[28] - 该技术为开源dLLMs社区注入新活力，展现dLLMs在推理速度上的巨大潜力[27] - 团队已开源代码和模型，旨在推动并行解码技术走向成熟和实际应用[27]

自进化智能体综述核心观点 - 自进化智能体是AI领域从静态模型转向动态持续学习的关键范式转变 旨在解决LLMs在开放环境中无法实时调整参数的瓶颈问题 [2][3][5] - 研究围绕三大基础维度构建框架：进化对象（模型/记忆/工具/架构）、进化时机（测试时内/外）、进化机制（奖励/反馈/搜索等） [2][6][21] - 该领域首次系统性梳理了自进化智能体的算法、评估指标和应用场景 为人工超级智能（ASI）的实现提供路线图 [3][6][52] 进化对象（What to Evolve） - **模型进化**：通过参数微调（SFT/RL）实现推理和行为优化 如AgentGen支持策略网络动态更新 [22][24] - **记忆进化**：长期记忆模块（如Mem0）可存储历史交互数据 支持经验复用和知识迁移 [24][29] - **工具进化**：智能体自主创建/掌握新工具（如Voyager生成代码工具）以扩展能力边界 [24][42] - **架构进化**：单智能体向多智能体系统扩展（如MAS-Zero） 通过协作提升复杂任务处理能力 [24][159] 进化时机（When to Evolve） - **测试时内进化**：任务执行中实时调整（如通过ICL） 典型场景包括动态环境交互和即时错误修正 [25][26][27] - **测试时外进化**：任务间隙离线优化 含监督微调（SFT）和强化学习（RL）两种范式 需平衡计算成本与长期收益 [26][28][33] 进化机制（How to Evolve） - **奖励驱动**：利用标量奖励（如TextGrad）或自然语言反馈引导进化 需注意奖励稀疏性问题 [31][32][36] - **模仿学习**：通过高质量示范（人类/智能体生成）快速提升能力 但依赖数据多样性 [32][36] - **群体进化**：多智能体系统（如AlphaEvolve）采用选择/变异机制 促进策略创新但计算成本高 [32][36][61] 应用场景 - **通用领域**：编程（Voyager自动生成代码）、教育（个性化学习助手）等数字环境任务 [38][42] - **专业领域**：医疗（WIN-GPT电子病历分析）、科研（文献自动归纳与实验设计）等高专业性场景 [43][47] 未来挑战 - **个性化进化**：需解决冷启动问题 开发轻量级评估指标以跟踪长期用户偏好适应 [43][44] - **安全可控性**：构建"智能体宪法"框架 防止有害行为生成和隐私泄露 [49][50] - **多智能体协同**：平衡个体推理与群体决策 开发动态评估基准反映长期交互效应 [51]

大模型伦理困境与SPIN解决方案 核心观点 - 大模型在强化隐私保护能力时会导致公平性断崖式下跌45%，存在"跷跷板效应" [1] - SPIN方案通过精准抑制0.00005%耦合神经元实现公平与隐私双提升，无需训练 [2][12] - 该方法在Qwen2-7B等模型上使公平性提升12.2%、隐私性提升14.0% [18][19] 伦理对齐挑战 - "对齐税"现象：优化隐私/公平性会牺牲其他基础能力 [3] - 监督微调(SFT)强化隐私时公平性大幅崩塌 [8] - 神经元语义叠加导致伦理目标冲突，形成"拉锯战" [9][10] SPIN技术原理 - 定位同时影响公平/隐私的Top-r%耦合神经元 [15] - 通过权重置零实现语义解耦，降低互信息干扰 [12][16] - 主战场在MLP模块，最佳抑制比例为10⁻⁷量级 [34][36] 性能优势 - 在Qwen2-7B上公平性0.6684→0.7497，隐私性0.7412→0.8447 [17][18] - 九项通用能力基准测试性能保持稳定 [21] - 仅需100条数据即可稳定运行，抗恶意数据干扰 [26][31] 应用价值 - 词频分析显示安全词汇使用率显著提升（如"diverse"+"respect privacy"） [35][37] - 可推广至安全性/有用性等其他伦理维度冲突 [37] - 部署零成本，推理无新增计算 [20]