研究背景与团队 - 研究由加州大学圣克鲁兹分校、苹果公司与加州大学伯克利分校合作开展 第一作者为UCSC博士生刘彦青 本科毕业于浙江大学 研究方向包括多模态理解与视觉基础模型[2] - 通讯作者为UCSC谢慈航教授 团队成员包括来自UCSC、苹果公司与UCB的研究人员[2] OpenVision系列发展历程 - OpenVision于ICCV发布 是完全基于公开数据和开源代码训练的视觉编码器家族 提供25个以上预训练模型 参数量从590万到6亿+ 覆盖多种patch size与分辨率设置[6] - OpenVision在多个多模态基准任务上媲美甚至超越OpenAI的CLIP与Google的SigLIP 成为学术界和产业界重要替代方案[7] - OpenVision训练管线存在双重对比目标与生成式caption预测设计 导致文本编码器计算量几乎翻倍 训练成本显著增加[8] OpenVision 2技术创新 - 移除文本编码器与对比学习 仅保留图像→描述生成目标 框架简化为图像编码器+文本解码器两个模块[9] - 引入视觉token随机丢弃技术 预训练阶段随机丢弃约2/3视觉token 仅用1/3 token生成完整描述 大幅减少文本解码器计算负担[10] - 采用稀疏提示机制 迫使模型在有限条件下还原完整caption 提升表征抽象能力 体现少即是多理念[13] 性能表现 - 在TextVQA任务中 OpenVision 2（ViT-L/14 224分辨率）达到59.0分 优于OpenAI-CLIP的56.1分和MetaCLIP-5B的55.6分[15] - 在OCR任务中 OpenVision 2（ViT-L/14 224分辨率）达到327分 显著优于OpenAI-CLIP的177分和MetaCLIP-5B的313分[15] - 在336分辨率下 OpenVision 2（ViT-L/14）在TextVQA任务达到63.0分 优于OpenVision的61.2分和OpenAI-CLIP的59.1分[15] - 参数量632M的H/14模型在448分辨率下 TextVQA达到65.6分 ChartQA达到18.1分 OCR达到416分[15] 训练效率提升 - ViT-L/14模型训练时间从83小时缩短至57小时 缩减31% SoViT-400M模型从241小时缩短至121小时 缩减50%[16] - 显存占用减少近一半 ViT-L/14模型峰值显存从24.5GB降至13.8GB[16] - 单卡批大小从2k扩展到8k 大幅提升训练吞吐量[16] - FLOPs per Image从271.75降至208.90（ViT-L/14） 从1636.75降至1017.74（SoViT-400M）[16] 技术原理分析 - 生成式监督更贴近下游多模态大模型推理方式 减少预训练与下游任务间目标错位[22] - 采用Recap-DataComp-1B v2数据集 caption生成结合图像和原始文本 提供更细致贴合语义的监督信号[22] - 视觉token随机掩码技术在保持性能同时降低算力开销 提升模型泛化与鲁棒性[22] 行业影响与开源贡献 - 挑战对比学习主导范式 证明生成式框架同样能训练强大视觉编码器 在效率和可扩展性具显著优势[21] - 开源超过25个不同规模和配置模型 完整公开训练代码与数据管线 为学术界和产业界提供可复现资源[21] - 展示大道至简设计理念 为多模态基础模型发展提供新方向 支持10亿参数规模可扩展训练[21]

技术原理 - 开发了一种受扩散模型启发的光学生成模型 利用光学原理而非传统计算机运算完成图像生成[1][2] - 系统通过数字编码器生成静态噪声模式 再通过空间光调制器将噪声刻印到激光束上 最终由解码装置转化为图像[2] - 采用浅层数字编码器将随机二维高斯噪声快速转换为二维相位结构 形成光学生成种子[11] - 包含即时生成和迭代生成两种模式：即时模式通过预计算光学种子实现按需生成 迭代模式采用递归去噪操作重建图像[13][17] 性能表现 - 光学系统生成图像效果与传统图像生成器相当 但能耗显著降低[3] - 在MNIST和Fashion-MNIST数据集上分别达到131.08和180.57的FID评分 证明生成图像符合目标分布[22] - 实现高分辨率图像生成：单色图像采用520纳米波长 彩色图像使用450/520/638纳米三波长通道[24] - 彩色图像生成共享同一解码器状态 虽存在轻微色差但仍保持优异质量[28] 应用前景 - 凭借超高速和超低能耗特性 可应用于VR/AR图像视频生成[6] - 适用于智能手机、AI眼镜等可穿戴电子设备的小型化终端[6] - 为数字AI模型提供可扩展且高能效的替代方案[3] 研究现状 - 目前仍处于物理实验阶段 距离实用化尚有距离[9] - 采用5.8亿参数数字编码器实现高分辨率生成 对比教师数字扩散模型需10.7亿参数和1000次迭代步骤[28]

图 1: Ark 的整体框架 近年来，机器人技术在硬件领域取得了显著突破 —— 无论是 DARPA 机器人挑战赛，还是首届人形机器人自由搏击表演，都展示了令人瞩目的进展。然而，机器 人的自主能力仍明显落后于机器学习的发展步伐。 造成这一差距的 关键瓶 颈在于软 件层面 ：现有的机器人技术栈学习门槛较高，仍大量依赖 C/C++ 进行底层开发，工具链分散且硬件集成复杂。相比之下，推动 现代人工智能发展的生态系统以 Python 为核心，文档完善、易于使用 —— 两者形成了鲜明对比。 为应对这些挑战，来自 华为诺亚方舟实验室，德国达姆施塔特工业大学，英国伦敦大学学院，帝国理工学院和牛津大学的研究者 们联合推出了 Ark —— 一个基 于 Python 的机器人开 发框架，支持快速原型 构建，并可便捷地在仿真和真实机器人系统上部署新算法 。 Ark 与主流机器学习工作流深度兼容，能够从仿真环境或实际机器人中采集和预处理数据，并支持使用如 ACT、Diffusion Policy 等前沿模仿学习方法进行策略训 练。该框架采用类似 OpenAI Gym 风格的主接口设计，极大降低了机器学习研究者的上手门槛，便于集成与实验 ...

核心技术创新 - 提出EvolKV进化框架 仅使用完整KV cache预算的1.5%即可实现超越完整模型的性能表现 大幅降低大语言模型推理成本 [1][6][11] - 采用任务驱动的进化算法优化KV cache分配 通过下游任务性能反馈自适应调整每层缓存预算 突破传统基于规则启发式方法的局限性 [4][6][13] - 将层分组优化与黑盒进化搜索结合 在减少搜索空间的同时实现细粒度性能感知分配 支持多样化评估标准包括准确率和F1分数 [6][9][16] 性能表现 - 在Needle-in-a-Haystack基准测试中比最佳基线提升多达13% 在RULER基准测试中提升多达3.6% [11][31] - LongBench评估显示在128到2048的KV cache预算范围内持续优于所有基线 在GSM8K数学任务中128预算下比最强基线准确率提升7个百分点 [11][25] - Mistral-7B-Instruct模型在多个子数据集(MultiFieldQA-en/2WikiMultihopQA/MuSiQue等)上不仅保持完整模型竞争力 甚至在某些预算下实现超越 [22] 方法架构 - 设计缓存效率评分机制CacheScore ∈ [0,1] 通过平滑折扣函数确保方案平均预算接近目标值c 超参数λ平衡原始性能与缓存效率 [14][15] - 采用层分组策略将L个transformer层划分为J=⌈L/n_g⌉个连续组 显著降低搜索维度并优化稳定性的同时保持细粒度控制 [16] - 通过迭代进化算法逐组优化 固定已优化组参数并动态更新未优化组 最终通过比例补全机制确保总预算精确匹配目标值 [17][20] 实验结果 - 在Llama-3-8B-Instruct上TREC子集128预算时比最强基线高7.69个百分点 在GSM8K任务中512预算下达到完整模型95.7%性能 显著优于基线84.5% [23][25] - 可视化显示不同预算下KV cache分配呈非均匀模式 验证了模型不同层级在信息处理中的功能差异性 [7][27][28] - RULER基准测试表明优化策略具备强泛化能力 迁移到其他评估场景仍保持性能优势 在Mistral-7B-Instruct上提升0.99分 Llama-3-8B-Instruct提升3.6分 [31]

AI Agent行业发展趋势 - AI Agent热度持续走高 各大科技公司和创业公司都在探索如何让AI真正帮人干活 [2] - 相比传统应用的最大魅力在于无界面交互 只需自然语言指令就能触发整套自动化行动 [2] - 海外AI Agent创业公司更多聚焦效率与生产力提升 国内则更强调消费与生活场景 [39] - 整体市场预计到2025年底将达到130亿美元 较2024年几乎翻番 [38] - 头部企业如Cursor年营收达5亿美元 Glean/Mercor/Replit等也都突破1亿美元 [38] 美团AI Agent产品特性 - 美团首个AI Agent产品"小美"于9月12日正式开启公测 [3] - 无需繁杂界面 只需一句话就能帮用户点咖啡、找餐厅 甚至规划整周早餐菜单 [5] - 能持续学习用户口味偏好 为老人小孩等特定人群提供更贴心方案 [5] - 通过简化传统点餐流程 利用语音指令和智能推荐 大幅提升点餐效率和个性化体验 [27] - 具备跨场景服务能力 包括酒店预订和出行推荐 [27] 技术架构与实现能力 - 基于美团自研Longcat模型 总参数量达到5600亿 [31] - MoE架构能根据任务动态激活186亿至313亿个参数 平均约270亿 [31] - 结合本地生活场景数据进行专项优化 能更精准理解用户需求 [31] - 依赖美团内部接口调用能力 省去中间层冗余步骤 [31] - 核心支撑是美团长期积累的本地生活垂直数据 包括动态更新的商户信息和地域化消费习惯 [32] 产品实测体验 - 点咖啡场景: 用户说"对咖啡因过敏 找最近瑞幸点不要咖啡的饮品" 小美推荐柠檬茶 [9] - 减脂餐场景: 根据模糊指令分析核心指标 筛选低升糖高蛋白餐品组合 [14] - 酒店预订: 能根据500元以内预算推荐品牌连锁酒店 并标注距离和房型信息 [15] - 出行推荐: 分析安全因素如照明监控人流量 以及便利设施如座椅厕所饮水点 [19] - 周期规划: 能主动规划一周早餐 8点送到公司楼下外卖柜 并在每周开始前主动确认 [25] 当前局限与发展方向 - 暂未上线自动膨胀功能 开发团队正在全力优化 [27] - 使用场景相对局限 无法处理电影票订购或安排周末家庭聚会等复杂需求 [27] - 无法进行语音回复 影响对话体验流畅性 [27] - 需要进一步提升处理更复杂和模糊需求的能力 改进对话自然流畅度 [27] - 仍处在快速迭代中 个别场景覆盖不足或响应策略有待优化 [33]

大型语音语言模型（LSLM）行业现状 - 大型语音语言模型（LSLM）的发展零散且步调缓慢，长期被碎片化架构、不透明训练数据和缺失的评估标准所困扰，导致研究难以公平比较，技术可复现性和社区进步受阻 [2] - 与视觉语言模型（LVLM）领域已形成CLIP编码器+LLaVA范式的成熟生态相比，LSLM研究面临四大核心挑战：架构路径分化严重、训练数据严重私有化、任务覆盖局限性明显、交互模态单一化 [7][8][9] - 主流LSLM如Qwen-Audio、Kimi-Audio等均依赖私有数据训练，数据规模、质量、构成等关键信息不透明，使得性能归因模糊且研究门槛高 [8][12] LLaSO框架的核心贡献 - 北京深度逻辑智能科技有限公司推出LLaSO，作为首个完全开放、端到端的语音语言模型研究框架，旨在为社区提供统一、透明且可复现的基础设施 [3][5] - LLaSO框架包含三大核心开源组件：LLaSO-Align（1200万语音-文本对齐样本）、LLaSO-Instruct（1350万多任务指令样本）、LLaSO-Eval（标准化评估基准） [14][15][16][17] - 该框架系统性支持三种交互配置：文本指令+音频输入、音频指令+文本输入、纯音频指令与输入，覆盖语言学、语义学、副语言学三大类共20项任务 [16] LLaSO-Base模型的技术实现与性能 - 基于LLaSO数据训练38亿参数的参考模型LLaSO-Base，采用经典三阶段架构：语音编码器（Whisper-large-v3）、模态投影器（MLP）、语言模型backbone（Llama-3.2-3B-Instruct） [20][21][25] - 在LLaSO-Eval基准测试中，LLaSO-Base取得0.72的最高归一化得分，显著优于Kimi-Audio（0.65）和Qwen2-Audio（0.57） [34] - 在自动语音识别（ASR）任务中，LLaSO-Base的词错误率（WER）和字错误率（CER）分别低至0.08和0.03，展现压倒性优势 [37] - 在副语言学任务中，LLaSO-Base在说话人性别识别（SGC）和口音分类（AC）任务上准确率名列前茅，在音素识别（PER 0.03）和语音命令识别（WER 0.04）上以数量级优势领先 [40][41][42] 行业影响与未来方向 - LLaSO框架通过完整开放的训练数据和代码实现，为LSLM研究提供可复现性保障、公平比较基础，降低研究门槛并加速技术积累 [54][56] - 相比私有数据方案，开源框架可为工业应用节省数千万数据构建成本，降低技术选型风险，并支持领域定制化 adaptation [56] - 当前局限性包括模型规模（38亿参数）与GPT-4级模型存在性能差距、多语言支持主要针对英文和中文、实时性能和长音频处理效率有待优化 [56] - 未来发展方向包括探索更大规模模型的性能上限、通过模型压缩和量化降低部署门槛、集成视觉信息实现多模态理解、针对医疗教育等垂直领域优化 [56]

模型发布与定位 - 小红书智创音频技术团队发布新一代对话合成模型FireRedTTS-2 聚焦现有方案灵活性差、发音错误多、说话人切换不稳、韵律不自然等痛点 通过升级离散语音编码器与文本语音合成模型全面优化合成效果 [2] - 在多项主客观测评中 FireRedTTS-2均达到行业领先水平 为多说话人对话合成提供了更优解决方案 [2] 技术性能与效果 - FireRedTTS-2基于数百万小时语音数据训练 对重音、情绪、停顿等细节把握到位 听感自然流畅 [5] - 相比闭源的豆包 FireRedTTS-2的播客生成自然度可与之媲美 还支持豆包不具备的音色克隆能力 只需提供每个发音人的一句语音样本即可模仿其音色与说话习惯自动生成后续整段对话 [5] - 在开源对话生成模型中（如MoonCast、ZipVoice-Dialogue、MOSS-TTSD） FireRedTTS-2在多说话人音色切换的稳定性与韵律自然度方面处于行业领先 [6] - 支持随机音色生成 开箱即用地覆盖中文、英语、日语、韩语、法语等多种语言 [7] 技术架构创新 - 离散语音编码器以12.5Hz低帧率输出 1秒仅对应12.5个标签 缩短语音序列长度提升速度 缩小与文本序列的长度差距降低大语言模型建模难度 [14] - 编码器在训练时引入预训练模型提取的语义特征 对离散标签进行语义监督 使标签携带更丰富的语义信息 帮助模型更容易学会从文本到语音的映射 支持流式解码可实时输出音频 [14][15] - 离散语音编码器先在约50万小时的多样化语音数据上训练提升泛化能力 再在其中约6万小时的高质量语音上继续训练优化重建音质 [16] - 文本语音合成模型采用文本-语音混排格式 支持逐句生成便于后续编辑与多场景适配 混排格式将对话文本与语音组织为带说话人标签的序列 [17] - 采用双Transformer设计 1.5B参数的Backbone Transformer负责建模混排序列中语音的粗粒度信息 0.2B参数的Decoder Transformer补充语音中的声学细节 充分利用对话上下文生成更自然连贯的对话语音 [18][26] - 支持低首包延迟 配合离散语音编码器的流式解码实现更快起播 [18] - 采用两阶段训练 先在110万小时单句语音上预训练夯实合成基础 再用30万小时对话语音继续训练覆盖2–4人对话场景 可稳定生成高质量对话语音准确处理说话人切换保持上下文一致与自然韵律 [18] 性能评测结果 - 在自建的中英文对话测试集上与MoonCast、ZipVoice-Dialogue、MOSS-TTSD等系统比较 FireRedTTS-2在主客观指标上均为最优 [20] - 中文对话测试结果：CER为2.08（MoonCast为3.81 ZipVoice-Dialogue为2.93 MOSS-TTSD为3.99） SIM为0.753（MoonCast为0.658 ZipVoice-Dialogue为0.736 MOSS-TTSD为0.659） MCD为7.99（MoonCast为11.37 ZipVoice-Dialogue为9.29 MOSS-TTSD为8.32） CMOST为0.0（MoonCast为-0.21 ZipVoice-Dialogue为-0.18 MOSS-TTSD为-0.16） [20] - 英文对话测试结果：WER为3.16（MoonCast为3.81 ZipVoice-Dialogue为11.71 MOSS-TTSD为5.43） SIM为0.703（MoonCast为0.620 ZipVoice-Dialogue为0.701 MOSS-TTSD为0.550） MCD为9.06（MoonCast为10.96 ZipVoice-Dialogue为9.88 MOSS-TTSD为9.25） CMOST为0.0（MoonCast为-0.21 ZipVoice-Dialogue为-0.31 MOSS-TTSD为-0.13） [20] - 显著降低发音错误 避免说话人混淆 具有更真实的韵律表现 [20] - 只需约50小时的特定播客说话人录音即可完成音色定制 使对话合成的自然度逼近真人 [22] - 微调后CER仅为1.66% 在主观听评中28%的测例被认为比真实播客录音更自然 另有28%难以区分二者 总体56%的测例表明其自然度已达到或超过真实录音 [22] 应用前景与行业意义 - 为AI播客等对话合成应用提供了工业级解决方案 [6] - 既能满足创新玩法的探索 也可作为高效的生产力工具为下游任务生成高质量的对话/非对话音频数据 [7] - 随着多模态大模型的快速发展 全行业对数据的需求与日俱增 尤其在语音识别与对话交互领域需要大规模的多音色、跨语言音频数据 FireRedTTS-2能有效满足这一需求 [7] - 未来团队将持续优化FireRedTTS-2 拓展支持的说话人人数与支持的语种 并解锁可控音效插入等更多玩法 [25]

研究背景与动机 - 现有大模型基准测试面临"难度-真实性"矛盾 考试类基准人为设置难度但实际价值有限 而基于真实用户交互的基准偏向简单高频问题[1] - 斯坦福大学等机构研究者探索在未解决问题上评估模型能力的新方式[2] UQ数据集构建 - 数据集包含500道未解决问题 涵盖计算机理论 数学 科幻 历史等主题 用于考察模型推理 事实准确性和浏览能力[3] - 问题来源Stack Exchange社区 经过三轮筛选：从300万原始问题中 基于规则筛选至33,916个(1.13%) 基于大语言模型筛选至7,685个(0.26%) 最终人工审核得到500题(0.02%)[10] - 数据集以科学类问题为主(395题) 其次为技术类(52题) 生活艺术类(35题)和文化娱乐类(16题)[7][11] - 问题被解决后会移除并替换为新未解决问题 保持数据集动态更新[12] 验证方法创新 - 开发UQ-Validators复合验证策略 利用生成器-验证器能力差距构建无真值验证系统[6] - 采用多模型验证流程：能力递增模型(o3-mini→o4-mini→o3)回答问题 然后相互验证答案[15] - 验证准确率提升速度快于答题准确率 模型能力越强验证优势越明显[16] 模型性能评估 - 表现最佳模型为OpenAI的o3 Pro 在500题中通过75题(15.0%) 其中4题被确认为正确解答[5][7] - Google的Gemini 2.5 Pro通过25题(5.0%) 其中3题正确 DeepSeek R1通过11题(2.2%) 其中1题正确[7] - Anthropic的Claude Opus 4通过7题(1.4%) Claude 3.7 Sonnet通过6题(1.2%) 均无正确解答[7] - 复合验证策略显著提升验证准确率 Claude 3.7 Sonnet准确率从21.6%提升至73.2% 精度从13.26%提升至20%[21] 验证偏见发现 - 所有模型在评估自身或同系模型时都出现过度乐观现象 预测性能远高于实际性能[24] - Gemini明显偏向自身 Claude对所有模型都过度乐观 OpenAI模型对同门模型评价过高[28] - 模型能力递增(o3-mini→o3)可降低但未消除偏见 复合验证器能显著削弱自我偏见与过度乐观[25][26] - 更强答案生成模型不一定是更强验证模型 o3作为答案模型弱于Gemini 2.5 Pro但作为验证模型更强[27] 平台与社区建设 - 建立UQ-Platform开放平台 让专家共同验证问题与答案 实现持续异步社区驱动评估[6] - 人类评审与验证器一致率达92-100% 理由链准确性达76-100% 验证器能为人类评审提供有效支持[23]

核心观点 - Cursor公司通过在线强化学习技术优化其Tab模型 显著提升了代码建议的接受率并减少无效建议数量 该技术利用每日超过4亿次用户请求的实时数据 建立高频反馈循环 颠覆传统AI模型开发模式[2][6][7] 技术实现 - 采用策略梯度方法优化奖励函数 鼓励采纳建议（奖励+0.75）并惩罚被拒绝建议（惩罚-0.25） 使模型自发学习接受概率评估 仅在预估接受率超过25%时提供建议[16][17][18] - 依赖同策略（On-Policy）数据更新模型 需实时部署新模型收集用户行为数据 当前模型更新周期为1.5-2小时[20][21] - 相比传统静态数据集训练和人工标注方式 Cursor实现超高频实时反馈循环 每天多次部署新模型[7] 性能提升 - 新模型建议数量减少21% 但建议接受率提升28%[6] - 每日处理超过4亿次请求 通过用户接受/拒绝行为作为强化信号直接优化模型[2] 行业影响 - 被AI社区视为Cursor的"护城河"功能 有用户表示愿为Tab功能单独付费[8] - 强化学习之父Richard Sutton认为该技术首次大规模证明实时在线学习的威力 指明AI重要发展方向[11] - 相比GitHub Copilot使用的逻辑回归过滤模型（依赖11个特征 低于15%概率时跳过建议） Cursor从根源避免低质量建议生成[14] 应用效果 - 大幅提升开发者生产力 被评价为"比其他任何功能都更能改善工作流程"[10] - 有效解决AI"过度热情"问题 通过判断时机提供帮助 在无法预测用户意图时保持静默[2][14]

后训练的「分」与「合」：SFT&RL 大一统趋势 - 后训练阶段需将大语言模型原始能力与人类价值观、偏好及意图对齐 关键阶段包括监督微调（SFT）和强化学习（RL）[7][8] - 传统「先 SFT 后 RL」范式存在流程僵化、资源消耗巨大及 RL 阶段不稳定性等问题 成为业界公认痛点[9] - SFT 作为模仿学习存在三大局限：灾难性遗忘导致预训练知识退化、过拟合与泛化能力不足、静态性质无法动态适应新信息[11][12] - RL 优势在于探索能力 可生成训练数据中未出现的回答并通过奖励信号判断优劣 在处理创造性或主观任务时泛化性能优于 SFT[13][14] - 「合」的思潮试图打破 SFT 与 RL 壁垒 将其视为同一优化过程在不同假设下的体现 目标均为最大化期望奖励同时约束模型偏离程度[10] - 混合范式通过 SFT 锚定基本行为范围并为 RL 提供高质量起点 约束探索空间以提升训练效率[14][15] - RL 算法本身存在复杂性及超参数敏感性 微小调整可能导致训练崩溃 奖励模型与策略优化目标不一致性也是不稳定根源[16] AI 硬件生态竞争与形态创新 - Meta、OpenAI、苹果和谷歌等巨头积极布局 AI 硬件 竞争焦点在于生态优势形成[2] - 无屏幕依赖摄像头和麦克风的便携 AI 设备可能成为新一代随身交互入口[2] - AI 能力将逐步从「外挂」式应用转变为每台设备的「隐形能力」 用户感知差异成为关键[2] - 无感交互技术试图让用户「忘记手机」 但需验证是否为技术噱头[2] - 行业探索奇形怪状的新硬件形态 但需评估其实际生活渗透可行性[2] AI 对搜索行业的重塑作用 - 生成式 AI 可能成为搜索的「替代品」或推动查询量与用户意图扩张的「增长引擎」[3] - 多模态交互与对话式 AI 搜索正在重新定义用户完成任务的方式[3] - AI 驱动搜索增长同时提升广告流量和商业价值[3] - 谷歌选择逐步融入 AI 智能体能力而非等待技术成熟 反映其产品与战略思路[3] 行业动态规模 - 本周 AI & Robotics 赛道共收录 29 项要事速递 含技术方面 12 项 国内方面 9 项 国外方面 8 项[4] - 本期通讯总字数 26535 字 免费试读比例 8%[5]