具身智能体安全研究 - 核心观点：顶级大模型如GPT-4o、Grok被"越狱"后可能教唆机器人执行危险行为，需建立安全评测基准[2][4] - 全球首个具身智能体安全评测基准AGENTSAFE诞生，填补对抗性安全评测空白[4][5] - 研究团队计划发布数据集、代码和评测沙盒供全球使用[6] AGENTSAFE设计原理 - 模拟45种真实室内场景，包含104种可交互物体[14] - 构建9900条危险指令数据集，引入6种"越狱"攻击手段（如多语言攻击、说服性攻击）[15][24] - 采用端到端评测闭环设计（感知→规划→执行），超越传统仅评估"规划合理性"的方法[16][18][20] 实验关键发现 - 测试5个主流VLM：GPT-4o、Gemini、Grok-2、GLM-4V、Qwen2.5[29] - 安全指令下感知准确率近100%，但危险指令分化明显：GPT-4o对"伤害人类"指令拒绝率最高（90%）[33][35] - "越狱"后安全性崩溃：GPT-4o拒绝率从84.67%降至58.33%，Grok/Gemini规划成功率飙升[37][38][39] - 案例：机器人完整执行"找到电脑→扔向镜子"的危险流程[40] 行业意义 - 现有评测基准忽视对抗性危险指令，聚焦任务完成率[9] - 具身智能体需通过安全测试才能部署真实世界[43] - 研究获ICML 2025多智能体系统研讨会杰出论文奖[5]

核心观点 - 蒙特卡洛树扩散（MCTD）通过结合蒙特卡洛树搜索（MCTS）和扩散模型，解决了扩散模型在长程任务推理中缺乏可扩展性的问题，并在迷宫导航、机械臂操作等任务中表现优异，通关率高达100% [3][4][17] - Fast-MCTD通过并行MCTD和稀疏MCTD技术，将推理速度提升100倍，同时保持高性能，成为更实用的解决方案 [25][36][40] 方法创新 - **MCTD的核心机制**： - 将轨迹划分为独立子规划（如N=500划分为5个子轨迹），实现异步去噪控制 [9][11][12] - 通过MCTS的四个阶段（Selection/Expansion/Simulation/Backpropagation）动态平衡探索与利用，提升长程规划效率 [8][18] - **Fast-MCTD的优化技术**： - 并行MCTD：引入冗余感知选择（RAS）和批处理去噪，支持K个并发rollouts，提升GPU并行效率 [30][31][34] - 稀疏MCTD：通过轨迹粗化（下采样H步）减少子规划数量，降低搜索复杂度 [35] 实验结果 - **性能表现**： - 迷宫导航：MCTD在medium/large/giant地图中接近100%成功率，显著优于Diffuser等基线 [17] - 机械臂操作：MCTD-Replanning在双方块任务中将成功率从22%提升至50%，Fast-MCTD进一步将规划时间从38.8秒缩短至5.9秒 [19][39] - 视觉迷宫：Fast-MCTD比MCTD快25-60倍，且在更大迷宫中性能更优 [39] - **效率提升**：Fast-MCTD在特定任务中实现80-110倍加速，性能损失极小 [36][40] 研究背景 - 论文由KAIST博士生尹在植主导，指导老师安成镇（Sungjin Ahn）为贝叶斯推理与深度学习专家，曾师从Yoshua Bengio [41][43] - 相关论文入选ICML 2025 Spotlight，开源代码及学术主页已公开 [4][45]

模型性能与技术优势 - 字节Seed最新发布的扩散语言模型Seed Diffusion Preview在代码生成领域表现出色，采用离散状态扩散技术，推理速度显著提升[1] - 在H20硬件上推理速度达2146 tokens/s，比同类Mercury和Gemini Diffusion更快，比同等规模自回归模型快5.4倍[3] - 专注于结构化代码生成，验证离散扩散技术作为下一代语言模型基础框架的可行性[5] 核心技术架构 - 采用两阶段训练策略：第一阶段基于掩码的扩散训练（占训练步骤80%）学习上下文补全，第二阶段基于编辑的扩散训练增强全局逻辑理解[9][10][11][13] - 引入约束顺序扩散技术，通过代码结构化先验解决逻辑混乱问题，确保变量声明等因果关系正确[17][18][19] - 采用同策略学习范式（on-policy）实现训练数据与模型能力动态匹配，减少策略偏差并加速采样优化[21] - 块级并行扩散采样方案将序列分块并行处理，平衡计算资源与生成延迟[23] 实验成果与行业对比 - 代码修复基准CanItEdit的pass@1达54.3%，较自回归模型提升4.8%（54.3 vs 50.5）[14] - 在BigCode Bench（53.2）、MBPP（79.4）、HumanEval（82.8）等多项基准测试中与DeepSeek-Coder-33B（46.2）、Qwen2.5-Coder-14B（52.9）等竞品性能相当[26] - 系统级优化实现推理速度突破，2146 tokens/s显著高于Mercury（1109 tokens/s）和Gemini Diffusion（1489 tokens/s）[26] 应用场景与项目进展 - 特别适合代码编辑任务，在保持生成质量的同时实现高速推理[25] - 项目组开放研究型实习生招募，提供技术报告和体验链接[27]

核心观点 - ModelScope团队发布Nexus-Gen V2模型，整合了视觉语言模型(VLM)和扩散模型，实现图像理解、生成和编辑的统一架构，并开源模型权重、训练流程及2600万样本数据集[1][3][30] - 模型通过多任务协同优化解决V1版本的理解能力退化、生成鲁棒性不足和编辑细节丢失问题，采用81个token的平衡方案提升性能[17][19][22] - 在图像理解、生成和编辑三大任务的评测中，Nexus-Gen V2达到第一梯队水平，尤其在中文支持方面仅需2.5M标注数据即可实现能力[34][36][39][42] 模型架构 - 核心设计将扩散模型作为自回归语言模型的视觉解码器，使用统一图像编码空间连接两者，输入图像通过视觉编码器处理后由自回归模型预测特征向量[10][12] - 自回归模型基于Qwen2.5-VL-7B-Instruct的语言模块，视觉解码器采用Flux-1-Dev，训练时固定输出81个token以平衡语义保持与生成质量[13][15][19] - 创新性提出预填充自回归策略，通过可学习特殊token解决连续特征预测的误差累积问题，保持训练与推理行为一致性[25][28] 训练优化 - 采用三阶段训练：自回归模型大规模预训练(26M样本)、美学微调(4.3M高质量样本)、视觉解码器条件适配(生成2M样本/编辑专用数据)[13][15][29] - 关键参数包括学习率1e-5、余弦调度器、512批量大小，图像生成数据采用长短描述混合标注策略提升鲁棒性[3][29][33] - 数据集构建上，对Cambrian-7M理解数据重标注答案，合成数据占比超50%，并创建高质量编辑数据集ImagePulse解决开源数据质量缺陷[33][34] 性能表现 - 图像理解能力接近基线模型Qwen2.5-VL-7B，MME-C得分637.5(基线640.3)，SEED指标达77.1(基线77.4)[36][37] - 图像生成在GenEval评测总分0.77，经指令微调后提升至0.81，中文生成仅需2.5M标注数据实现[34][39] - 图像编辑CLIP-T得分0.324优于同类模型，编辑解码器使CLIP-O指标达0.909，显著改善细节保持[41][42] 行业意义 - 验证了VLM与扩散模型整合的技术路线可行性，与GPT-4o、Gemini等大厂方案形成竞争，推动统一模型发展[1][43] - 开源全链路资源(模型/数据/训练流程)降低行业门槛，2600万数据集包含580万理解/1330万生成/630万编辑样本[3][30][44] - 多任务统一训练展现协同效应，为构建具备多模态推理能力的下一代世界模型提供实践基础[43]

模型性能 - Step-3多模态推理模型在MMMU等多个榜单上取得开源SOTA成绩，成为开源多模态推理模型的新标杆 [2] - 模型在Hopper GPU上每秒可解码4039个Token（4K上下文、FP8、无MTP），速度达到DeepSeek-V3的174% [3] - 采用模型-Infra一体化设计，性价比极高，在H20上的解码成本仅为DeepSeek-V3的30% [5][7] 模型架构 - Step-3为MoE模型，包含48个专家，总参数量321B（316B语言模型+5B视觉编码器），激活参数量38B（3个专家） [9] - 采用自研MFA注意力机制，通过低秩分解和共享Key/Value表示压缩KV缓存，使其小于DeepSeek-V3，更适配长上下文场景 [20][21][22] - 模型层数1层，隐藏维度7168，注意力头64个，头维度256，MoE层配置覆盖除首尾外的所有层 [10] 技术优势 - 提出AFD机制，将注意力和FFN计算拆分到不同GPU群组，通过三阶段流水线提升资源利用率 [25][26][27] - 开发StepMesh通信库，支持GPUDirect RDMA，SM占用为0，子毫秒级完成双向流式传输 [30][32] - 在昇腾910B上解码成本低于华为盘古大模型，32K长度下H20计算卡成本仅为DeepSeek-V3的30% [23][16] 行业地位 - Hugging Face模型榜单前十名中8个为中国模型，包括智谱GLM-4.5、腾讯混元世界模型、Qwen系列等 [33][34][35] - 中国厂商如字节Seed、昆仑万维、上海AI Lab等均将王牌模型直接开源，推动国产模型成为开源领域领军者 [37][38] - Step-3位列Hugging Face榜单第一页，技术报告和代码已在Github、Hugging Face、魔搭平台全面开源 [39] 成本效率 - 8K上下文长度下每百万Token成本0.055美元（约人民币0.4元），采用H20+H800异构组合 [12] - 相比DeepSeek-V3激活参数量更高但成本仅80%，对比Qwen MoE成本低12% [13][14] - 算力-带宽比调至略低于主流GPU屋脊线，同一套权重在高带宽卡和算力卡上均保持高利用率 [24]

开源编程模型性能突破 - Qwen3-Coder-Flash开源模型性能达到GPT-4.1级别，支持本地运行[1][2][3] - 多编程任务表现超越多数顶级开源模型，仅略逊于闭源的Claude Sonnet-4和GPT-4.1[5] - 原生支持256k token上下文窗口，可扩展至1 million token，33GB内存的中端笔记本即可运行[5] 技术规格与优化 - 采用MoE架构，30亿参数总量，激活参数3.3亿[16] - 针对Qwen Code、Cline、Roo Code、Kilo Code等平台优化，无缝支持函数调用和agent工作流[16] - 量化版本推出，显存需求降低，24.82GB 6bit MLX版可在M2 Macbook Pro上流畅运行[7][12] 性能基准测试 - Terminal-Bench得分37.5，超越Claude Sonnet-4的35.5和GPT-4.1的25.3[8] - SWE-bench Verified测试中，69.6分表现优异，接近Claude Sonnet-4的70.4分[8] - Agentic Tool Use场景下，TAU-Bench Retail得分77.5，超越Claude Sonnet-4的80.5[8] 实际应用案例 - 简短提示词即可生成完整HTML和JavaScript游戏代码，显示训练数据覆盖广泛[12][13] - 模型可快速响应修改需求，如调整游戏子弹速度，无需复杂工具调用[14] - 生成速度达每秒60个tokens，但在复杂场景如"鹈鹕骑自行车"中效果仍需优化[15] 开源生态与行业影响 - Qwen系列开源节奏加快，推出多款小显存友好方案，增强行业竞争力[18][19] - 国产模型在开源领域竞争激烈，Qwen3-Coder-Flash被评价为"绿色低碳极速版coding模型"[9][19] - 模型已在QwenChat、魔搭社区、Hugging Face等平台开放体验[19]

核心观点 - 小红书推出行业首个社交大模型RedOne，专为SNS领域定制，突破单一任务基线模型的性能瓶颈，构建全面覆盖SNS任务的基座模型 [1] - RedOne在8个主要SNS任务上平均提升14.02%，在SNS双语评测基准上提升7.56% [1] - 线上测试显示RedOne将有害内容检测曝光率降低11.23%，浏览后搜索点击页面率提升14.95% [1] - RedOne采用三阶段训练策略（CPT→SFT→PO），实现"懂社交、懂规则、懂用户"的目标 [5] 模型性能 - RedOne在通用任务中保持优异表现，部分任务超越基座模型Qwen2.5 [26] - 在SNS领域任务上，RedOne平均提升14.02%，双语评测提升7.56% [1] - 与基础模型对比，RedOne在QueryCorr任务上提升12.63%，MRC任务提升2.76% [27] - 基于RedOne的微调模型在所有数据集上均超过基于Qwen2.5的微调模型 [28] 训练框架 - 采用三阶段训练策略：继续预训练（CPT）、监督微调（SFT）、偏好优化（PO） [5] - CPT阶段构建超千亿tokens数据集，最终筛选出200亿tokens高质量数据 [9][11] - SFT阶段整合六项核心能力：内容理解、信息提取、语义匹配、用户行为建模、对话和角色模拟、翻译能力 [16] - PO阶段采用直接偏好优化（DPO）算法，构建主观和客观任务的偏好数据集 [20][21] 数据特点 - SNS数据具有高度非规范化、强上下文依赖、显著情绪化特征 [3] - 数据收集包括通用高质量数据和SNS领域数据，后者涵盖多种社交沟通模式 [8] - 数据筛选采用规则筛选和基于小型LLM的筛选，确保数据质量 [10] - 最终构建包含200亿tokens的高质量数据集 [11] 线上应用 - 有害内容检测中违规笔记曝光率降低11.23% [32] - 浏览后搜索用户点击页面率提升14.95% [32] - 案例研究显示RedOne能精准锁定用户需求关键词 [36] 技术优势 - 三阶段训练呈现"层层递进、相互增强"效果，通用性能几乎无损 [31] - 引入通用领域数据显著提升模型在OOD任务上的泛化能力 [35] - 模型规模增加时性能持续提升，表现巨大潜力 [26] 行业意义 - 首个全面覆盖SNS领域的定制化LLM [5] - 为后续专用垂域LLM落地提供参考 [37] - 助力社交媒体内容治理与高质量互动 [37]

核心观点 - 谷歌DeepMind推出AlphaEarth Foundations模型(AEF)，实现高精度绘制地球，解决数据过载和信息不一致问题[1][3] - AEF整合PB级地球观测数据，生成通用地理空间表示，支持按需创建地球地图[3] - 模型生成的卫星嵌入数据集已被联合国粮农组织等50多个全球组织使用[5] - AEF让每天重新绘制地球成为现实，被称为"地球版ChatGPT"[10][11] 技术原理 - 采用时空精度编码器(STP)，结合空间自注意力、时间轴自注意力和卷积操作，捕捉地理时空特征[16] - 将地球表面复杂信息压缩为64字节的嵌入向量，实现全局与细节兼顾[18][24] - 支持观测数据支持期与地图生成有效期分离，通过插值外推生成连续结果[19][21] - 融合光学卫星、雷达、激光雷达等10多种数据源，打破数据类型壁垒[23] - 采用师生模型和对比学习策略，引入文本对齐训练丰富语义信息[26] 性能优势 - 土地覆盖分类任务平衡准确率达0.82，优于次优模型的0.69[31] - 标签稀缺场景下平均错误率低24%，学习效率显著提升[32] - 存储需求仅为其他AI系统的1/16，降低分析成本[26] - 精准捕捉年度土地覆盖变化，误差远低于传统方法[35] 应用场景 - 卫星嵌入数据集包含每年1.4万亿个潜入足迹，为全球最大同类数据集之一[40] - 支持全球生态系统地图集项目绘制未测绘生态系统[40][41] - 巴西MapBiomas团队用于监测亚马逊雨林等关键生态系统变化[42] - 助力解决粮食安全、森林砍伐和水资源等关键问题[43]

行业突破 - 全球互联网数据中超过50%为非英文内容 但传统CLIP模型主要基于英文数据训练 凸显多语言处理需求[1] - 多语言CLIP面临两大核心挑战：缺乏非英语数据筛选方法 以及英语性能下降的"多语言诅咒"[2] 技术创新 - MetaCLIP 2实现三大突破：建立300多种语言处理流程 优化数据筛选算法 提升模型容量[2][8] - 采用"NoFilter"理念 通过概念平衡替代语言过滤 构建多语言视觉概念词典（含WordNet和维基百科词汇）[3][5][15] - 数据筛选机制创新：语言识别+定制化标准 控制常见与罕见概念比例 确保数据分布合理性[16][17] 性能表现 - 打破"多语言诅咒"：英语ImageNet准确率达81.3% 超越纯英语CLIP的80.5%[24][25] - 多语言任务创SOTA：Babel-ImageNet分类准确率50.2% XM3600跨语言检索准确率64.3%[26][27] - 文化多样性优势：在Dollar Street/GLDv2等数据集 Top-5准确率最高达69.0%[28][29] 技术细节 - 训练规模显著扩大：ViT-H/14模型使用290亿样本 较基线扩大2.3倍[19][23] - 模型容量关键作用：ViT-H/14架构成功消除多语言诅咒 实现英语与非英语能力同步提升[19] - 参数调整策略：将平衡阈值t从20k提升至170k 适配十亿级数据规模[12] 行业影响 - 研究团队含MIT博士及OpenAI资深专家 技术路线获行业认可[3][4] - 完整开源生态：发布论文及代码库 推动多模态领域发展[32]

AI基建与Agent发展 - 大模型时代下AI基建重要性凸显，全球巨头如马斯克19天内组建10万块H100 GPU，扎克伯格计划建设1GW+超算集群 [1] - WAIC 2025显示模型应用成为发展主旋律，基础设施呈现更细化进展 [1] Agent Infra领域动态 - Agent Infra概念被敏锐厂商捕捉，AWS发布Amazon Bedrock AgentCore智能体沙盒并投入1亿美元研发资金 [3] - 阿里云在WAIC推出首款专为AI Agents设计的"无影AgentBay"，提供云端沙箱环境支持3行代码快速部署 [3][7] 无影AgentBay核心功能 - 覆盖Linux、Windows、Android等系统层及Browser Use、Code Space等应用层环境，支持移动终端开发 [9] - 支持视觉理解、自然语言控制、任务解析等多模态交互方式，提供原子化工具API和远程串流协议 [11] - 升级跨平台数据漫游系统，实现状态和内存级持久化，减少重复登录操作 [12] - 提供企业级安全沙箱，采用数据加密传输和权限隔离，实现本地环境零侵入 [13] - 基于阿里云算力支持秒级弹性伸缩与千级并发运维能力 [13] Agent落地挑战与解决方案 - 开发环境与算力是Agent落地两大难题，本地设备难以满足高并发、高算力需求 [15] - 无影AgentBay通过云端高性能环境解决硬件限制，自带海量MCP工具并支持可视化操作 [16] - 该方案降低部署门槛，节省运行时间，加速AI Agents规模化进程 [17][18] 行业竞争与市场格局 - 阿里云与AWS在Agent Infra领域同步发力，阿里云产品比AWS早三个月推出 [16][21] - 阿里云2024年下半年稳居中国公有云市场首位，AI收入连续六个季度三位数增长 [22][23] - Agent大规模落地需新基建支持，要求云厂商兼具云技术、AI技术及行业洞察能力 [20][21]