Workflow
机器之心
icon
搜索文档
大模型智能体不止能写代码,还能被训练成白帽黑客
机器之心· 2025-09-11 03:36
大模型在网络安全领域的新范式 - Amazon AWS AI的Q Developer团队提出训练网络安全大模型的两种新方法Cyber-Zero和CTF-Dojo 实现AI在网络安全攻防中的实战应用 [2][3] - 闭源大模型如Google Gemini系列已展现漏洞发现潜力 但训练范式不透明且无法自主改造 存在潜在风险 [8] - 传统训练方式需搭建真实运行环境 成本高、风险大且高质量安全攻防数据稀缺 制约AI白帽黑客发展 [8] Cyber-Zero免运行时训练方法 - 核心思想是通过runtime-free training利用CTF竞赛writeups生成高质量行为轨迹 无需真实环境 [9][11] - 基于不同人格模拟攻防对话 攻击者生成利用路径 防御者进行应对 形成训练轨迹 [11] - 实验显示其训练效果与真实环境轨迹相当 部分指标更优 32B模型性能接近Claude-3.7-Sonnet但推理成本仅1% [13][15] - 关键发现:通用软件工程智能体无法直接迁移至网络安全任务 模型规模与性能正相关 [15] CTF-Dojo实战训练体系 - 构建可运行CTF攻防环境 智能体可直接执行命令并与系统交互 发现利用漏洞 [17] - 使用CTF-Forge工具自动搭建运行时 几分钟部署数百挑战实例 大幅降低人力成本 [17] - 基于pwn.college CTF Archive数据集 筛选658个独立任务实例覆盖六大漏洞类别 [19][21] - 通过推理增强技术收集1000+成功轨迹 最终获得486条高质量验证轨迹 [21] - 训练后模型在En IGM A+基准取得最高11.6%绝对提升 性能随样本增加持续提升 [22][24] 虚拟与实战结合的闭环体系 - Cyber-Zero提供安全可扩展的训练数据 CTF-Dojo提供实战演练环境 形成完整能力培养路径 [26] - 两者结合解决数据成本与能力迁移问题 推动AI网络安全应用落地 [26] 技术前景与挑战 - 应用场景包括企业安全自动扫描、红队演练测试、教育陪练等 有望实现普惠安全 [28] - 双重用途风险突出 免运行时方法降低训练门槛 可能被滥用于进攻目的 [28] - 未来方向包括构建实时更新CTF基准和强化学习交互 需平衡开放与安全 [29]
刚刚,Thinking Machines Lab首次发长文,揭开LLM推理不确定性真相
机器之心· 2025-09-11 03:36
文章核心观点 - Thinking Machines Lab发布首篇研究文章指出大语言模型推理不确定性的根本原因是缺乏批次不变性而非浮点非结合性或并发性[1][17][41] - 通过实现批次不变性核函数可彻底解决LLM推理不确定性问题使模型在温度参数为0时产生完全确定性输出[41][86][91] - 确定性推理对强化学习训练至关重要可避免策略偏离实现真正的在策略强化学习[90][91] 公司背景与动态 - Thinking Machines Lab由OpenAI前CTO Mira Murati于2025年2月创立并推出博客栏目Connectionism致敬20世纪80年代连接主义学派[1][3] - 公司首篇博客由PyTorch核心开发者Horace He主笔其于2025年3月从Meta离职加入该公司[8] LLM推理不确定性现象 - 即使温度参数设为0大语言模型API仍无法保证确定性输出[11] - 开源推理库如vLLM或SGLang在自有硬件上运行同样存在非确定性采样问题[12] - 实验显示Qwen3-235B模型在1000次重复生成中产生80种不同结果最高频结果仅出现78次[85] 传统假设的局限性 - "并发+浮点"假设认为浮点非结合性与并发执行导致不确定性但未解释根本机制[13][14] - GPU矩阵乘法在相同输入下可保持位级一致性证明并发性并非主因[15][21] - 前向传播过程本身具有运行间确定性但系统级不确定性源于批次大小变化[39][41] 批次不变性原理 - 核函数输出结果受批次大小影响导致同一请求在不同服务器负载下产生差异[41][44] - 缺乏批次不变性的操作包括RMSNorm矩阵乘法和注意力机制[49] - 归约顺序随批次大小变化是打破不变性的关键因素例如RMSNorm中核心分配策略受batch size影响[52][56] 技术实现方案 - 矩阵乘法需固定核函数配置避免使用Split-K策略以保持批次不变性[63][67] - 注意力机制需确保KV缓存内存布局一致性并采用固定拆分大小策略而非动态调度[74][79] - 已开源批次不变性核函数库batch-invariant-ops并提供确定性vLLM示例[82][83] 性能与实验数据 - 确定性核函数使Qwen3-235B模型1000次生成结果完全一致首次差异出现于第103个token[86] - 未优化确定性vLLM在Qwen-3-8B模型推理中耗时42秒较默认配置26秒存在性能损耗但属可接受范围[88][89] - 确定性推理使强化学习训练KL散度降至0避免奖励崩溃问题[91] 行业意义 - 解决数值差异可提升科学实验可复现性并优化强化学习训练流程[90][91] - 呼吁社区深入理解系统底层机制而非容忍不确定性[94]
00后挑大梁!近20国选手激战外滩大会,AI科创赛三赛道冠军诞生
机器之心· 2025-09-10 11:30
赛事概况 - 2025外滩大会AI科创赛于9月10日在上海落幕 包含人工智能硬件科创赛、AFAC金融智能创新大赛和全球AI攻防挑战赛三大赛道 共80个项目获奖[1] - 赛事规模达去年2倍 吸引全球近20个国家地区8000多支战队、近2万名参与者 其中00后选手占比超50%[1][3][4] - 大赛提供总额162万元奖金池 配套创新展示与资源对接渠道 冠军团队直通投资机构对接[4] 人工智能硬件赛道 - 首次增设人工智能硬件科创赛 聚焦AI智能硬件落地与市场化潜力 获奖项目涵盖AI数字医疗、老年人生活助理、编程拼图及陪伴玩具等领域[5] - 投资方高度认可项目成熟度与软硬件融合能力 指出AI+实体成为主流趋势[7] - 机器人职业技能表演赛展示具身智能应用 包括救援操作与多任务执行能力[7] - 首次引入大众评审机制 强调技术实用性与生活化应用[7] 金融智能赛道 - AFAC金融智能创新大赛依托真实业务场景与海量数据 推动光通信、卫星遥感、图计算等技术产业化[10] - 获奖项目聚焦反欺诈、反洗钱、信用评估等金融业核心痛点 提供跨学科解决方案[10] AI安全赛道 - 全球AI攻防挑战赛由学术机构与企业联合主办 聚焦数字身份认证安全 采用多模态攻防竞技模式[13] - 赛事积累海量生成样本 推动安全技术迭代 并开源全球首个多模态AI安全基准数据集OpenMMSec[13] - 推出"燧石人才计划" 通过直通offer吸引安全领域人才[13] 政策与产业支持 - 赛事获上海市科学技术委员会指导 覆盖AI技术到应用的完整生态 旨在推动项目落地与科创中心建设[15]
CoRL 2025 | 港大InfoBodied AI团队首发具身表征新范式,构建任务自适应的感知框架
机器之心· 2025-09-10 11:30
本文的共同第一作者为香港大学 InfoBodied AI 实验室的博士生孙力和吴杰枫,合作者为刘瑞哲,陈枫。通讯作者为香港大学数据科学研究院及电机电子工程系助 理教授杨言超。InfoBodied AI 实验室近年来在 CVPR,ICML,Neurips,ICLR 等顶会上有多项代表性成果发表,与国内外知名高校,科研机构广泛开展合作。 出发点与研究背景 在具身智能中,策略学习通常需要依赖场景表征(scene representation)。然而,大多数现有多任务操作方法中的表征提取过程都是任务无关的(task-agnostic): 无论具身智能体要 "关抽屉" 还是 "堆积木",系统提取的特征的方式始终相同(利用同样的神经网络参数)。 想象一下,一个机器人在厨房里,既要能精准抓取易碎的鸡蛋,又要能搬运重型锅具。传统方法让机器人用同一套 "眼光" 观察不同的任务场景,这会使得场景表 征中包含大量与任务无关的信息,给策略网络的学习带来极大的负担。这正是当前具身智能面临的核心挑战之一。 这样的表征提取方式与人类的视觉感知差异很大 —— 认知科学的研究表明,人类会根据任务目标和执行阶段动态调整注意力,把有限的感知资源集 ...
谷歌AI新里程碑:一个能「做研究」的系统诞生了,用LLM+树搜索编写专家级软件
机器之心· 2025-09-10 08:14
机器之心报道 编辑:冷猫 大模型在科研领域越来越高效了。 昨天,谷歌发表了一篇重磅文章,提出了一个能够帮助科研人员编写「专家级」科研软件的 AI 系统。 该系统融合了 大语言模型 和 传统树搜索 ,能够自动编写和优化科研任务中所需的软件程序,能够获取多种渠道的现有知识,整合并且重组这些知识来构建一个 新的研究思路。 谷歌生成,该系统不仅稳定达到专家水平,还常常超越人类。在基因组学、公共健康、数值分析等多个领域,这套系统的表现甚至超过了顶尖研究团队和国家级 集成系统。 论文标题:An AI system to help scientists write expert-level empirical software 论文链接:https://www.alphaxiv.org/abs/2509.06503v1 如此这般,科研人员在各个领域的研究中都能够使用这一 AI 系统来构建全新的研究思路和实证程序,能够更高效地进行科学研究。 AI 在科研领域的应用一直以自动化的特性为主,能够辅助科研人员进行可行性验证,完成一些重复的高强度工作,减少科研人员在重复验证、调试程序等工作上 浪费的时间,更能够激发科研人员的创新思维 ...
英伟达下一代GPU登场,Rubin CPX一次推理数百万Token,网友:这是头野兽
机器之心· 2025-09-10 08:14
机器之心报道 机器之心编辑部 在周二的 AI 基础设施峰会上,英伟达宣布推出一款名为 Rubin CPX(Rubin Context GPUs) 的新 GPU,专为超过 100 万 token 的长上下文推理而设计。 对用户而言,这意味着他们在软件开发、视频生成等长上下文任务中能够获得更好的性能。 例如,在软件开发中,AI 系统必须能够对整个代码库进行推理、理解仓库级代码结构,才能更好的帮助开发者。同样地,长视频和研究类应用也要求在数百万 token 范围内保持持续的连贯性和记忆。 现在,随着 Rubin CPX 发布,这些问题都能迎刃而解。 这款新型 GPU(Rubin CPX) 将与 NVIDIA Vera CPU 和 Rubin GPU 搭配使用,共同组成全新的 NVIDIA Vera Rubin NVL144 CPX 平台。这一集成式 NVIDIA MGX 系统在单机架内可提供 8 exaflops AI 算力,其 AI 性能是 NVIDIA GB300 NVL72 系统的 7.5 倍,并配备 100TB 高速内存和 1.7 PB/s(petabytes)内存带宽。 同时,NVIDIA 还将为已有 V ...
人人都能炼专属Agent,上海交大开源端侧Agent全栈工具链,真实场景性能超GPT-5!
机器之心· 2025-09-10 07:31
打开手机,让 AI Agent 自动帮你完成订外卖、订酒店、网上购物的琐碎任务,这正成为智能手机交互的新范式。 就在刚刚,这一局面迎来了新的破局者。 来自 上海交通大学 IPADS 实验室 的团队 ,正式开源了一套名为 MobiAgent 的移动端智能体 "全家桶"。 APP:https://github.com/IPADS-SAI/MobiAgent/releases/download/v1.0/Mobiagent.apk 一个能自主处理大部分日常任务的个人专属智能体,正在从科幻走进现实。 然而,通往 "解放双手" 的最后一公里却并不好走。如何高效地训练和在手机端部署 Agent 模型,长期以来似乎都是少数大厂的 "自留地"。从高质量操作数据的获 Agent 养成全攻略:三步走 要让 AI 学会玩手机,首先得让它看懂人是怎么操作的。MobiAgent 的第一大核心,就是贡献了一套 AI 辅助的 敏捷数据收集 "流水 线 " 。 过去,给 AI 准备 "教材"(标注数据)又贵又慢。现在,MobiAgent 用一个轻量级小工具,就能记录下人类在手机上的所有点击、滑动、输入等操作轨迹。对于一 些简单的任务,这一录 ...
AI胡说八道这事,终于有人管了?
机器之心· 2025-09-10 04:05
文章核心观点 - OpenAI研究揭示AI大模型幻觉问题根源在于奖励机制更倾向于奖励猜测而非承认不确定性 GPT-5因此显著降低幻觉率[3] - 苏黎世联邦理工学院提出新型实体级幻觉检测方法 通过token级探针实现低成本可扩展的实时流式检测 适用于700亿参数大模型[3][6][8] - 该方法在长文本生成场景表现远超基线 AUC值达0.90以上 且在短文本和数学推理场景展现强大泛化能力[12][24][26] 技术原理与实现 - 采用实体级幻觉检测策略 精准识别捏造的人名、日期或引文等实体 可自然映射到token级标签实现实时检测[6] - 开发高效标注流程:利用网络搜索验证实体真实性 为每个token标注"Supported"/"Not Supported"/"Insufficient Information"三种状态[20] - 标注质量验证显示:与人工标注一致性达84% 在受控数据集中召回率80.6% 假阳性率15.8%[21] - 使用线性探针结合LoRA适配器构建检测器 采用混合损失函数聚焦关键错误信号[22][23] 性能表现 - 在Llama-3.3-70B模型上:LongFact数据集线性探针AUC 0.8667 LoRA探针AUC 0.9048 HealthBench数据集线性探针AUC 0.8730 LoRA探针AUC 0.9057[24] - 短文本场景(TriviaQA):LoRA探针AUC超0.96 线性探针AUC 0.9179-0.9484[24] - 数学推理(MATH数据集):线性探针AUC 0.8450-0.8641 LoRA探针AUC 0.8750-0.8845 显示超越实体检测的泛化能力[12][24] - 在Gemma-2-9B、Qwen-2.5-7B等次要模型上仅用2000样本训练 LoRA探针AUC仍达0.87-0.90[26] 数据集与可扩展性 - 构建LongFact++数据集 规模扩大10倍且领域更多样化 包含主题查询、名人传记等四类提示[18][19] - 标注数据集可跨模型复用 研究团队已公开发布数据集推动社区研究[13] - 方法具备低成本特性 R@0.1指标显示在10%假阳性率下可识别约70%幻觉实体[27]
AI应用元年,这场标杆赛事见证了中国创新速度与野心
机器之心· 2025-09-10 04:05
机器之心原创 编辑:吴昕 一场关于未来金融智能的集体预演,见证了创业者们的冲刺,也折射出一个行业的进化。 2025 年的 AI ,正在上演「双线长跑」。 一端是大模型底层的持续进化,远未触顶;另一端是场景应用集中爆发。 来自 a16z 最新发布的全球百强 GenAI 应用榜单 ,释放出一个清晰信号,在「 AI 如何改造行业」应 用上,中国玩家已展现出全球领先优势。 与此同时,国务院印发的「人工智能 + 」行动计划又添了一把柴。 AI 的赋能范围,正从新质生产力的 试点,扩展到全社会,被视作未来现代化的核心引擎。 这股脉动,在 AFAC2025 金融智能创新大赛 上体现得淋漓尽致。作为连续举办三年的金融智能标杆 赛事,它已成为海内外 AI 创业团队的聚合地。在为期三个月的赛程中, 11 支队伍从初创组脱颖而出 —— 获奖方案直击真实金融痛点,覆盖底层技术突破与复杂系统工程,落地性极强,跨界创新尤为显著。 11 支获奖团队的项目方向、技术亮点和应用场景,大都直击真实金融痛点,落地性极强,「跨界」创新明显。 中国的应用落地速度是全球领先的,另一位评委、 xcube.co 首席幕僚长兼董事、新加坡金融科技节和 GFT ...
苹果发布会:耳机测心率、手表听音乐、iPhone Air超级薄
机器之心· 2025-09-09 23:21
发布会概况 - 北京时间9月10日凌晨1点苹果举行2025秋季新品发布会主题为"Awe Dropping" [1] - 发布会持续75分钟推出AirPods、Apple Watch和iPhone17系列产品 [2] - 发布会前半小时股价先跌发布会后股价下跌1.48%盘后继续下跌 [6] iPhone Air产品特性 - 史上最薄iPhone厚度仅5.6毫米重165克配备6.5英寸ProMotion显示屏 [8] - 采用陶瓷护盾和钛金属框架设计配备A19 Pro处理器和自研C1x调制解调器 [11][12] - 支持Wi-Fi 7和蓝牙6技术配备4800万像素双摄融合相机系统 [13][17] - 仅支持e-SIM卡国行版仅支持中国联通激活 [15] - 起售价999美元/7999元提供256GB存储最高1TB版本售11999元 [9][25] iPhone 17 Pro系列特性 - 三个摄像头均采用4800万像素传感器长焦镜头传感器增大56% [28] - 回归铝合金机身配备史上最大电池Pro Max支持37小时视频播放 [28][34] - 搭载A19 Pro 3nm芯片支持25W MagSafe无线充电 [34] - Pro起售价1099美元/8999元Pro Max起售价1199美元/9999元 [9] - Pro Max首次提供2TB存储版本售价1999美元/17999元 [9][35] 标准版iPhone 17配置 - 搭载A19芯片采用第三代3纳米制程配备6.3英寸超视网膜XDR显示屏 [38] - 后置4800万像素融合式主摄+超广角摄像头前置1800万像素Center Stage相机 [38] - 支持120Hz自适应刷新率起售价5999元(256GB) [38] 无线芯片技术 - 推出自研N1芯片支持Wi-Fi 7、蓝牙6和Thread智能家居协议 [39][40] - 取代博通芯片提升AirDrop和个人热点性能 [40] AirPods Pro 3特性 - 三年来首次重大更新新增心率传感器改进主动降噪功能 [42] - 主动降噪效果比上一代提升一倍单次充电续航从6小时提升至8小时 [45][52] - 新增实时翻译功能支持手势激活售价249美元/1899元 [43][47] - 具备IP57防汗防水功能通过机器学习算法精确测量心率 [48][50] Apple Watch系列更新 - Series 11为最薄Apple Watch起售价399美元/2999元支持高血压监测 [58][60] - 首款支持5G连接电池续航最长24小时抗刮擦能力提升两倍 [61][63] - SE 3配备S10处理器电池续航达18小时支持常亮显示起售价1999元 [65][67] - Ultra 3新增5G和卫星连接功能电池续航最长42小时起售价799美元/6499元 [70][73] 市场反应与设计争议 - 发布会前产品信息遭大量泄露多次登上微博热搜 [74] - iPhone 17外观设计引发争议被指像电子秤或充电宝但有人认为会热销 [77][78]