研究背景与问题 - 大型视觉语言模型在多模态任务中表现亮眼，但其安全隐患正迅速显现，攻击者可将恶意意图隐蔽地嵌入图像中，使模型在未察觉风险的情况下输出有害内容[5] - 如何增强大型视觉语言模型对多模态恶意输入的安全对齐能力，成为当前亟需解决的问题[5] - 仅保护文本的轻量级安全提示方法在多模态场景下不足，攻击者可以绕过文本提示将威胁藏在图像中[5] - 近期工作如ESIII、UniGuard尝试在图像上添加可训练的视觉安全扰动，但仍存在安全性不足与性能损害明显两大问题[5][6] - 在FigStep基准上，即便加入视觉安全扰动，模型仍有约30%的恶意输入没有被成功拒绝[5] - 在MME基准上，某模型的得分从1818直接跌至1403，意味着模型在变得更安全的同时也显著变弱[6] 方法与创新：深度对齐的视觉安全提示 - 清华大学人工智能学院团队提出了全新的安全对齐方法DAVSP，其核心思想是从视觉提示范式和训练对齐机制两方面同时创新[7] - DAVSP提出**视觉安全提示**来取代传统的图像全局扰动，并设计了**深度对齐**的训练策略让模型从内部真正理解何为不安全输入[9] - 视觉安全提示选择在输入图像周围添加一圈额外的可训练边框作为安全提示区域，这样做能保护原始视觉特征并扩大优化空间[13][15] - 由于提示信息只存在于图像边缘的新扩展区域，而不直接修改原图像素，因此不会破坏原有图像的关键细节，模型对良性输入的正常感知与理解不会下降[15] - 相较于传统像素级视觉安全扰动其扰动幅度常被严格限制在如32/255的极小范围内，视觉安全提示通过引入额外的图像边界区域，可以被优化为任意像素值，大大拓宽了可学习参数的空间[15] - 深度对齐旨在深入模型内部，对其内部激活空间进行监督，挖掘并增强模型自身对有害/无害信息的区分能力[14] - 深度对齐训练步骤包括：1) 构建有害向量，代表将模型内部表示从良性方向推向恶意方向的变化方向；2) 让带有恶意意图的输入在该向量方向上的投影尽可能增加，而良性输入的投影尽可能减少，从而促使模型从内部真正认知到不安全输入[16] 实验结果：恶意输入抵御能力 - 在两个代表性恶意多模态数据集上，DAVSP取得了远高于现有同类方法的拒绝率[18] - 在MM-SafetyBench数据集上，针对LLaVA-1.5-13B模型，DAVSP在SD+TYPO攻击下的拒绝率达到98.72%，显著高于ESIII的91.96%和UniGuard的88.65%[19] - 在FigStep OOB数据集上，针对LLaVA-1.5-13B模型，DAVSP的拒绝率达到84.20%，显著高于ESIII的70.80%和Adashield-A的63.40%[19] - 针对Qwen2-VL-7B-Instruct模型，DAVSP在FigStep OOB数据集上的拒绝率达到99.20%，高于ESIII和UniGuard的98.20%[19] 实验结果：良性任务性能 - DAVSP对模型正常能力的影响微小，在多个基准上的实用性评分与仅施加文本安全提示时持平，且优于其他视觉安全扰动方法[17][19] - 在MME OOD基准上，针对LLaVA-1.5-13B模型，DAVSP的总分为1602，显著高于ESIII的1403和UniGuard的1356，接近无防御状态下的1818分[20] - 在LLaVA-Bench OD基准上，针对LLaVA-1.5-13B模型，DAVSP得分为63.6，与Adashield-S持平，并显著高于ESIII的56.5和UniGuard的49.7[20] - 针对Qwen2-VL-7B-Instruct模型，DAVSP在MME OOD上的总分为2146，高于ESIII的1991和UniGuard的1778[20] 实验结果：跨模型泛化与关键组件 - DAVSP训练得到的视觉安全提示具有一定的泛化能力，可以在不同模型之间迁移使用[20] - 例如，使用在LLaVA-1.5-13B上训练的DAVSP提示迁移到Deepseek-VL-7B-Chat模型，在FigStep OD数据集上的拒绝率从仅使用文本安全提示的67.40%提升至70.40%[21] - 通过消融实验验证，DAVSP的两大创新视觉安全提示和深度对齐缺一不可[22] - 移除深度对齐、仅对输出进行监督时，模型对恶意攻击的抵抗成功率大幅下降，例如在FigStepOOD数据集上，拒绝率从84.20%降至67.00%[23] - 将视觉安全提示替换回原始的像素级视觉安全扰动后，会造成安全性和实用性同时退化，例如在MM-SafetyBench的SD+TYPO攻击下，拒绝率从98.72%降至88.38%[23]

公司参与行业顶级会议概况 - 公司将于2025年12月2日至7日参与人工智能与机器学习领域最具影响力的国际顶级会议NeurIPS 2025 [4] - 会议在美国圣地亚哥举办并首次在墨西哥墨西哥城设有分会场 [4] - 公司计划通过展台技术串讲、专题技术报告及技术派对等形式进行深度交流 [4] 展台技术交流活动 - 公司展台位于Hall A & B 展位号1723 活动时间为2025年12月2日下午至12月5日 [6][7] - 将于12月3日会议休息时段在展台进行中稿论文与技术报告的深度分享 [6] - 参会者可与论文作者及公司技术专家面对面交流前沿研究成果与实战经验 [6] 百灵大模型技术报告 - 公司定于2025年12月2日16:00-17:00在Upper Level Room 28A-E分享自研通用大模型“蚂蚁百灵大模型”的最新突破 [8][9][10] - 模型系列Ling 2.0包含非推理模型Ling系列、推理模型Ring系列及多模态模型Ming系列 总参数量从160亿到1万亿不等 [9] - 分享人包括公司高级算法专家Jiang Liang、算法专家Ren Yankun和高级算法专家Peng Han [11] 专题技术报告议题 - 报告议题涵盖Ring-1T：用于万亿级思维模型的强化学习扩展 [13] - 报告议题包括Ring-linear：一种用于长上下文推理的高效混合架构 [13] - 报告议题涉及Ming-Flash-Omni：用于多模态感知与生成的稀疏统一架构 [13] 星光技术派对安排 - 公司将在会议期间举办“学术海岸线·蚂蚁星光技术Party” 与全球AI领域技术领袖深度对话 [12][15] - 活动将介绍“蚂蚁星计划” 提供顶尖资源与成长路径 [15] - 现场将为参与者准备滨海美式晚宴和冬日温暖套装等专属惊喜 [20]

文章核心观点 - AI时代用户内容消费习惯转向追求效率，倾向于使用大模型快速总结信息[1] - 行业专家通过构建多模型协作的“LLM议会”系统，以提升信息处理质量和洞察力[3][4] - 该系统通过模型间匿名互评和排名机制，实现了一种新颖的模型评估与答案生成方式[4][6][9] LLM议会项目概述 - 项目由前OpenAI联合创始人Andrej Karpathy开发，是一个Web应用[3][4] - 系统集成四个最新大模型：OpenAI GPT-5.1、Google Gemini-3 Pro Preview、Anthropic Claude-Sonnet-4.5、xAI Grok-4[10] - 工作流程分为三阶段：首次意见独立回答、模型间匿名互评排名、主席模型整合最终输出[4][8][9][11] 技术流程与特点 - 第一阶段用户提问分发给所有模型，答案以标签页视图展示[8] - 第二阶段模型对匿名同行答案基于准确性与洞察力进行排名，避免偏袒[9] - 第三阶段主席模型综合所有回答和排名生成最终输出[11] - 该系统展现了模型愿意承认其他模型答案更优的有趣现象[7] 行业应用与影响 - 类似方法已被知名游戏博主PewDiePie采用，使用8个同模型不同提示词配置组成委员会[5] - 该方法可能成为一种新的基准测试形式，探索多模型集成设计的巨大空间[12][13] - 项目已在GitHub开源，但作者声明不提供后续支持，仅作为灵感工具[14][15]

AI在数学研究中的应用进展 - 著名数学家陶哲轩使用Gemini 2 5 Deep Think AI工具验证了一个复杂的数学恒等式 该工具仅用约十分钟就完成了使用p-adic代数数论的完整证明[9] - 陶哲轩随后花费约半小时将AI生成的复杂证明转换为更基础的形式 使其适合在Lean定理证明器中形式化验证[11] - 数学家Boris Alexeev使用Harmonic的Aristotle工具完成了该问题的Lean形式化 整个过程花费两到三小时 并手动形式化最终命题以防止AI滥用[12] 具体数学问题解决案例 - 独立研究者Wouter van Doorn于11月20日针对Erdős问题367提出了一个反例 依赖于一个他认为成立但需要验证的同余恒等式[5] - 该数学问题涉及复杂的极限表达式和乘积不等式 具体形式为lim sup (∏Bᵣ(m)/n¹⁺ᵉ)→∞以及∏B₂(m)的相关不等式[4][6][8] - 问题解决过程展示了从人类提出猜想 AI快速验证 到数学家优化证明并最终实现形式化验证的完整协作流程[5][9][11][12] 数学研究平台与社区协作 - Erdős问题网站专注于数学研究 收录保罗・厄尔德什提出的各类问题 涵盖数论 组合数学 图论等领域[1] - 该平台为研究人员 数学爱好者和学者提供提出 讨论和解决数学问题的空间 促进了学术交流与合作[1] - 此次事件通过Mathstodon等社交平台传播 显示了现代数学研究社区线上线下协同工作的新模式[13]

文章核心观点 - 伯克利与UIUC团队通过自研的扩散语言模型工具dLLM，仅需约50 GPU・小时的监督微调，即可让ModernBERT-large-chat-v0（0.4B参数）在多项任务中表现逼近Qwen1.5-0.5B，证明“离散扩散+轻量级指令微调”是高效、低成本激活经典BERT生成能力的可行方案 [2] - 团队已将训练、推理与评测的全流程代码完全开源，并封装为可直接运行的“Hello World”示例，旨在为社区提供一个易用、可复现的扩散式语言模型学习与研究平台 [3][6][16] dLLM框架特性 - dLLM是一个面向扩散式语言模型的统一开发框架，强调易用性与可复现性，框架结构清晰、脚本完善，使实验能够在单卡甚至笔记本环境复现 [6] - 该框架兼容当前主流的开源扩散语言模型（如Dream、LLaDA、RND），并实现了多个缺乏公开实现的研究算法（如Edit Flows），为社区探索提供了灵活且坚实的基础 [6] 基座模型选择依据 - 实验选择ModernBERT作为基座模型，因其上下文长度从原始BERT的512-token显著扩展至8,192 tokens，且在非生成式基准任务上表现更优 [8] - 在Wikitext-103-v1数据集上的预训练测试显示，ModernBERT达到了最低的训练loss，表明其在生成式训练中同样具备优势 [8] 训练路径探索与关键发现 - 实验发现，对ModernBERT进行额外的离散扩散语言建模预训练（MDLM）对后续指令微调带来的收益非常有限，其原始MLM预训练已编码足够语言知识 [10][11] - 关键结论是：对于BERT而言，扩散式监督微调本身就足以激活生成能力，决定最终性能的关键是指令微调，而非额外的生成式预训练 [11] 模型性能表现 - ModernBERT-large-chat-v0（0.4B）在LAMBADA、GSM8K、CEVAL-valid等多项主流评测任务中表现稳定，整体性能已接近Qwen1.5-0.5B [12][14] - ModernBERT-base-chat-v0（0.1B）仅使用约四分之一规模的参数，便能生成流畅自然的语言，证明扩散式训练在小模型规模下依然具备竞争力 [12][14] 项目定位与开源价值 - 该项目定位为教学与研究实验，旨在帮助研究者理解扩散式语言模型的训练与生成机制，而非追求商用系统级别的基准测试表现 [16] - 团队开放了完整的训练脚本、训练曲线、消融实验、参数设置与运行指令，保持了研究过程的透明与可复现性，为社区提供了完整的学习起点 [16][18]

Mid-Training 会成为未来的 Pre-Training 吗 行业动态与公司布局 - OpenAI 在2024年7月低调成立“中期训练”（Mid-Training）部门，负责改进旗舰模型，成果包括GPT4-Turbo和GPT-4o，团队贡献显著[6] - OpenAI 当前Safety Systems team的职位描述中包含“通过有针对性的预训练和mid-Training干预措施，使后续的协调工作更加有效和高效”[6] - xAI 也被报道在不同渠道的招聘说明中阐述了对Mid-Training人才的需求[6] - 微软、零壹万物等机构在2024年的研究论文中接连提及对“Mid-Training”不同程度的投入[6] 概念定义与业界关注 - “Mid-Training”在字面上与“Pre-Training”“Post-Training”高度关联，被描述为介于两者之间的环节，但截至2024年底，不同工作对该术语的定义、理论和算法实现存在诸多差异[7] - 2025年7月，OpenAI研究员Noam Brown在播客中将Mid-Training描述为“新的Pre-Training”，称当前的预训练模型就像能衍生出其他模型的半成品，mid-training就像是派生时的预训练，post-training则完成最终的细化与优化[7] - Mid-Training是通过某些有趣的方式为模型添加新的能力或特性的一种手段，与预训练和后训练间的界限非常模糊，难以给出严谨定义，但它不同于pre-training中对大规模语料的广泛学习，也不是post-training中针对具体用途的微调，而是一个独立阶段，可以拓展模型的泛化能力和实用性[7] 研究进展与框架探讨 - 北大和美团的研究者在10月底发布综述“A SURVEY ON LLM MID-TRAINING”，尝试明确当下Mid-Training的定义，并通过数据管理、训练策略和模型架构优化框架三个层面探讨现有的Mid-Training工作[8] - 该综述将Mid-training定义为衔接预训练和后训练之间的一个关键阶段（vital stage），其特点是使用的中间数据（intermediate data）和计算资源（computational resources）[8] - Mid-training阶段的定位在于系统地增强LLM的特定能力（如数学、编程、推理、长上下文扩展），且必须保持模型基础能力不下降[9] 优化策略与历史溯源 - Mid-Training的优化策略主要从数据整理、训练策略和模型架构优化三个维度进行，核心目标包括优化用于Mid-training的数据质量和分布、调整训练配置以提高效率和效果、以及调整或利用模型特性来配合Mid-training[10] - 数据整理维度探讨数据清洗与增强以及合成数据的利用，训练策略维度包括学习率退火、上下文扩展和权重平均，模型架构优化维度涉及MoE路由和注意力机制的调整[10] - “Mid-Training”词源最早可以追溯到Google Research的ACL 2020论文“BLEURT”和该团队后续的WMT 2020研讨会论文，并非2024年新出现的词汇[11]

行业背景与临床痛点 - 脊柱疾病是全球性重大健康问题，影响全球约6.19亿人，是主要的致残原因之一 [2] - 现有通用视觉-语言大模型在脊柱诊疗领域存在“认知鸿沟”，缺乏椎体级别感知和多模态融合能力，无法满足临床复杂的集成推理需求 [2][6] - 在临床级评测基准SpineBench中，通用大模型的弱点暴露无遗，即使参数量达720亿的Qwen2.5-VL-72B模型，平均性能也仅为79.88% [7][13] 核心解决方案：SpineMed生态系统 - 研究构建了首个面向脊柱诊疗领域的大模型研发基础设施，包括大规模指令数据集SpineMed-450K和临床级评测基准SpineBench [3][9] - **SpineMed-450K数据集**：包含超过450,000条指令实例，数据来源丰富，包括教科书、指南、专家共识、开放数据集及来自国内11家知名医院的约1000例真实去识别化病例 [14] - 数据集生成采用“临床医生介入”的严谨流程，确保数据质量与可追溯性，并覆盖多项选择QA（249k）、开放式QA（197k）、多轮诊疗对话（1.1k）和临床报告生成（821例）等多种任务类型 [14][16] - **SpineBench评估基准**：包含487道高质量多项选择题和87个报告生成提示，由17名骨科外科医生团队严格验证，旨在评估AI在细粒度、解剖中心推理中的错误类型 [18][20] 专科大模型SpineGPT的性能突破 - SpineGPT基于Qwen2.5-VL-7B-Instruct模型，通过课程学习框架在SpineMed-450K上微调，仅70亿参数即在所有任务上实现显著提升 [3][24] - 在SpineBench评测中，SpineGPT平均得分达87.44%，大幅领先所有开源大模型（领先幅度超过4.18个百分点），并逼近顶尖专有模型性能 [25] - 在纯文本QA任务上，SpineGPT得分89.46%，超越了所有参评模型，包括GPT5（87.41%）[25] - 在医疗报告生成任务上，SpineGPT总分为87.24分，显著优于Qwen2.5-VL-72B（63.80分）和ChatGPT-4o（64.04分）[25][26] - 消融实验证明专科数据至关重要：仅使用通用医疗数据训练时模型性能为74.95%，加入非脊柱通用骨科数据后提升至82.14%，最终纳入脊柱特异性数据后性能达到87.89% [27] 技术优势与验证 - SpineGPT展现了卓越的跨模态对齐能力，其在图像QA任务上得分84.46%，与文本QA任务（89.46%）的差距远小于GPT5等模型（GPT5两项任务差距达7.44个百分点）[13][25] - 人类专家评分与LLM自动评分高度相关，Pearson相关系数在0.382至0.949之间，大多数维度相关性在0.7以上，验证了自动评估的可靠性 [28] - 案例显示，SpineGPT能生成包含72个详细步骤的临床处理流程，覆盖从影像发现到术后管理的完整链条，其专业性和细节远超通用模型如ChatGPT-4o [26] 研究意义与未来方向 - 该研究证明，对于脊柱诊断等需要复杂解剖推理的专业领域，专科指令数据和“临床医生介入”的开发流程是实现临床级AI能力的关键 [30] - SpineMed-450K和SpineBench的发布为未来AI研究提供了高实用性的基线 [30] - 研究团队计划拓展数据集、训练更大参数模型，并结合强化学习技术，继续深化与领先专有模型的性能比较 [30]

大会概况 - 2025宝山智能机器人产业大会暨嘉年华在智慧湾科创园隆重开幕 [2] - 来自企业、高校的200多位专业观众参加开幕式 [4] - 活动包括3场行业主题论坛、1场创业项目路演以及展览和互动体验 [20] 产业政策与生态构建 - 宝山区发布《宝山区高质量推动人形机器人产业创新发展行动方案》 [6] - 上海机器人产业园供应链平台启动上线，旨在打通产业链资源壁垒 [8] - 宝山具身智能数据采集中心启动，为智能机器人发展提供数据要素支撑 [10] - 一批优秀智能机器人及关键零部件项目顺利完成重点项目签约 [12] - 上海中小企业集成制造赋能中心揭牌，精准服务中小企业创新需求 [14] 技术发展与行业洞见 - 专家阐释智能时代与机器人产业融合的核心逻辑 [19] - 解析人形机器人从开源到标准化的技术落地与行业规范协同路径 [19] - 分享AI技术提升机器人通用性的实践思路 [19] - 大会旨在推动智能机器人产业突破前行，为科技创新与产业升级注入动力 [22]

核心观点 - 公司发布“软硬结合、端云一体”的全链路开发基础设施，旨在加速具身智能机器人从开发到商业落地的全过程 [1] - 公司致力于通过大算力开发平台和一站式开发平台，降低开发者门槛，解决行业重复造轮子问题 [1][4] - 具身智能被视为驱动产业变革的新生产力，将重塑各行各业效率边界 [1] 产品发布：S600具身智能机器人大算力开发平台 - S600为旗舰级大算力开发平台，算力达560 TOPS (INT8)，采用大小脑架构设计 [7] - 大脑配置18核A78AE CPU和全新BPU Nash，支持VLA、VLM、LLM等多种具身大模型算法端侧部署 [7] - 在适配Pi0、Qwen2.5-VL-7B时，性能超越主流具身大脑平台2.3倍和2.2倍 [7] - 小脑配置6核R52+ MCU，专为人形机器人优化，具备高可靠实时运动控制能力 [7] 产品发布：一站式开发平台 - 平台提供三大核心服务：数据闭环系统、具身智能训练场、Agent开发服务 [10] - 数据闭环系统通过模型训练-仿真评测-硬件在环三位一体驱动机器人进化，已获数十家客户验证 [10] - 具身智能训练场为行业领先的大型并行化训练场，曾支撑CVPR挑战赛等顶尖赛事 [10] - Agent开发服务中的RDK Agent助手可实现一句话完成机器人应用开发与部署 [10] 算法创新 - 公司自研双目算法SOTA指标行业领先，其双目Depth精度媲美激光雷达，双目OCC避障性能达智能驾驶级别 [13] - 推出业界首个多双目全景Occupancy感知方案Omni-OCC [13] - 自研VO-DP纯视觉抓取方案性能超行业SOTA，成功率和泛化性远超Pi0.5，达到工业应用要求 [13] 生态合作与客户进展 - 傅利叶、加速进化、广汽集团等行业翘楚成为S600全球首批战略客户 [19] - 知行科技、天准星智、立讯精密等汽车产业Tier1成为S600生态首批合作伙伴，将共同打造机器人控制器 [21] - 公司与超60家产业链伙伴合作，打造软硬一体化解决方案 [23] 开发者生态建设 - RDK已覆盖全球20多个国家，服务10万+开发者 [26] - DGP地心引力计划赋能500+中小团队 [26] - 公司携手产学研与开源力量构建教育和科研生态，发起地瓜青年学者计划 [26] 战略方向 - 公司围绕三大方向推进：赋能量产机器人迭代升级、加速机器人在各类场景落地、为通用具身智能机器人打基础 [23] - 以生态建设为核心、以开发者为中心，推动具身智能从概念走向规模化应用 [28]

核心观点 - 谷歌DeepMind聘请波士顿动力前CTO Aaron Saunders，标志着公司在具身智能领域的战略深化，旨在解决AGI在物理世界落地的硬件问题 [2][3][8] - 此次人才流动反映了机器人行业从追求高机动性向发展通用操作能力的范式转移，谷歌正通过整合顶尖硬件人才与Gemini AI系统，试图打造类似安卓的机器人操作系统 [9][11][13] - 行业竞争格局发生变化，中国公司如宇树科技在四足机器人供应链成本优势显著，但谷歌DeepMind仍将战略重心放在AI"大脑"的研发上 [14][15] 人才战略与行业意义 - Aaron Saunders于本月初正式加入DeepMind担任硬件工程副总裁，其核心任务是"负责任地解决具身智能问题" [8][9] - 此次招聘是DeepMind CEO Demis Hassabis宏大愿景的关键部分，旨在将Gemini打造为可跨身体构型工作的机器人操作系统 [11][13] - 谷歌与波士顿动力存在历史渊源：Alphabet于2017年将波士顿动力出售给软银，后者又转售给现代汽车，时隔8年后谷歌重新引入其核心技术高管 [5][6] 技术范式与行业趋势 - 机器人领域正从"去任何地方"（高机动性）向"做任何事情"（通用操作能力）转型 [9] - 制造足式机器人的组件和专业知识日益普及，美国公司如Agility Robotics、Figure AI、1X及特斯拉均在研发人形机器人 [14] - 中国公司宇树科技在面向制造业和建筑业的四足机器人供应方面已超越波士顿动力，成为全球最大供应商 [14] 公司战略定位 - DeepMind强调其战略重心在于AI"大脑"而非硬件，Hassabis对宇树科技表示印象深刻但更关注Gemini的多模态能力 [15] - 公司采用类似安卓的开放策略，目标是构建可适配不同身体构型（包括人形与非人形）的通用AI系统 [11][13] - Hassabis预测AI驱动的机器人技术将在未来几年迎来"突破性时刻"，此次高管招聘被视为实现该目标的关键拼图 [15]