Workflow
规模法则
icon
搜索文档
对谈刘知远、肖朝军:密度法则、RL 的 Scaling Law 与智能的分布式未来丨晚点播客
晚点LatePost· 2025-12-12 03:09
文章核心观点 - 大模型的发展存在“规模法则”和“密度法则”两条主线,前者追求能力跃迁,后者追求效率提升,即单位算力/参数下智能的最大化 [12][13][18] - 行业正从盲目追求模型规模转向追求能力密度,效率提升将加速端侧智能(如手机、汽车)和分布式智能的发展,最终实现每个人的“专属大模型” [9][10][35] - 强化学习尚未出现清晰的Scaling Law,是当前主要瓶颈,未来的关键方向是自主学习(Self-Learning)和“AI造AI” [24][34][36] 大模型演进的明线与暗线 - **明线:规模法则 (Scaling Law)**:自2018年预训练模型出现后,每隔几年模型能力就会跳跃一次,模型正变得更通用,甚至开始接近或超越人类在某些领域的能力 [12] - **暗线:密度法则 (Densing Law)**:这是大模型时代的“摩尔定律”,关注如何用更少的计算和数据资源更高效地获得智能,核心是追求单位计算带来的智能最大化 [13][14][18] - **密度法则的量化表现**:根据研究,大模型的能力密度(衡量单位参数/算力下模型能力的指标)每3.5个月翻一倍,自2023年1月ChatGPT出现后,这一速度在加快 [4][7] 提升模型能力密度的具体方法 - **模型架构优化**:核心方向包括采用稀疏化的混合专家系统以降低算力消耗,以及对注意力机制进行各种效率改进以应对长文本和Agent任务的需求 [19][20] - **数据治理与合成**:通过高质量的数据清洗、精选和合成,可以大幅提升训练效率,例如将预训练数据集精炼至不到原始容量的1/10,效果反而更好 [22][23] - **学习算法演进**:当前重点转向强化学习,但其尚未出现清晰的Scaling Law,主要瓶颈在于难以构建可扩展的环境和可验证的激励 [24][25] - **软硬一体协同优化**:结合芯片制程进步(摩尔定律)与模型能力密度提升,共同推动端侧设备承载以往只能在云端运行的大模型能力 [30][31] 强化学习的现状与未来探索方向 - **当前瓶颈**:强化学习缺乏像预训练那样清晰的Scaling Law,大多数训练仅几千步,如何持续稳定训练并构建“不可破解”的学习环境是核心挑战 [24][25] - **两条探索路径**:一是继续扩大RL的规模,探索开放域的激励定义;二是寻找更高效的新学习方式,提高样本效率,让模型能像人一样通过少量反馈学习新任务 [26][27] - **RL的已验证能力**:只要有足够数据和反馈,强化学习已能在数学、代码等特定任务上达到人类前0.1%甚至0.01%的水平,预示了打造垂直领域“超级专家模型”的潜力 [25] 端侧智能与分布式智能的未来 - **端侧算力规模**:2023年全国端侧算力(主要是手机)是数据中心算力的12倍,信息化本质是分布式算力和信息的结构,智能化也将遵循这一路径 [9][35] - **端侧部署时间表**:结合密度法则提升和芯片路线图,预测到2030年左右,端侧可部署600亿以上参数的模型,5年内端侧很可能承载GPT-4至GPT-5能力的模型 [32] - **具体应用进展**:车端模型量产速度非常快,已与多家车企合作;预计2027年成为关键节点,届时手机可实现大规模强化学习,支持个人数据训练“专属大模型助理” [32][33] - **未来形态**:智能将分布式存在,形成“智能体的互联网”,个人拥有基于终端数据持续成长的“个人大模型”,云端则存在各垂直领域的“专家大模型” [10][35][36] 下一阶段的范式演进:自主学习与AI造AI - **核心方向**:预训练和强化学习之后,下一个大的方法改进是自主学习,即模型能作为一个高效的学习者,根据用户需求在终端上持续学习新技能 [34] - **发展三阶段**:第一阶段是实现自主学习;第二阶段是具备自主学习能力的AI之间的协作;第三阶段是具备创造新符号关系乃至新符号系统的创新能力 [34][35] - **AGI的雏形**:最早的AGI形态可能不是面向消费者的产品,而是面向生产的系统,具备“AI造AI”的能力,即能自主完成数据生产、环境构建、模型训练和部署的全流程 [36]
llya最新判断:Scaling Laws逼近极限,AI暴力美学终结
36氪· 2025-11-26 08:46
AI行业技术路径转向 - 规模化法则正在接近极限,强化学习的算力消耗巨大但并不能算作真正的扩展,扩展与浪费算力之间的界线变得模糊[1] - 行业正在从"规模驱动"重新回到"研究驱动",科研需要正确的问题和新的方法而非绝对最多的算力[2] - 预训练提供了一套可复用配方:准备足够的数据、算力和能撑住规模的模型结构,性能就会持续上升,但预训练终究会耗尽数据[27] 模型性能与泛化能力 - 当前模型在评估中表现出色但经济影响滞后,存在评估性能与实际现实世界性能之间的脱节[11] - 模型更像投入一万小时练习的算法竞赛选手,虽然训练良好但未必能推广到其他领域[14][15] - 人类学习速度快不是因为预装大量知识,而是因为进化内置了强大的通用学习机制[3][33] - 人类样本效率高的可能解释是进化赋予了我们少量但最有用的信息,对于视觉、听觉和运动能力有强大的先验[33] 公司战略与竞争格局 - 即使创新放缓,各公司依旧会取得显著进展并获得高额收入,差异化可能变得更难但"停滞"并不意味着"衰落"[2] - 规模化扼杀了所有创新空间,导致每个人都开始做同样的事情,公司数量远超创意数量[39] - SSI已经筹集了30亿美元,真正区别在于算力使用方式而非绝对规模,资源需要集中投入重要方向[42][44] - 随着人工智能能力提升,公司在战略协调方面会趋同,OpenAI和Anthropic已经在AI安全方面合作[63][78] 超级智能与社会影响 - 当AI足够强时,许多今天不存在的社会行为会出现,可能带来"全民高收入"并极大提升生产力[3][70] - 真正的风险在于人类可能逐渐从参与者变成旁观者,保持主体性的答案是与AI建立更深层耦合[3][71] - 超级智能最令人担忧的不是意图而是力量,即便目标是善意的,人类仍可能不喜欢实现目标的方式[3][67] - 如果模型被限定在某些领域,它们一样可以极其强大,可以拥有许多功能狭窄的超级智能[3][80] 技术方法与研究重点 - 价值函数能够提高强化学习效率,让系统在中途就能发出预警而不是等到终局才知道失败[22][31] - 预训练的主要优势是数据量庞大且无需费心考虑应该使用哪些数据,试图捕捉人们将世界投射到文本的过程[16] - 研究品味来自对简单而清晰信念的坚持,人工智能应该符合大脑的本质结构但要以正确方式理解大脑[4] - 自博弈提供了一种仅使用计算资源而无需数据即可创建模型的方法,如果数据是最终瓶颈则非常有趣[83] 学习机制与进化启示 - 人类的价值判断情感是演化出来的底层代码,这种情感关键点是社会中正常运转的基石[24] - 进化赋予了我们高度抽象的社交欲望,让我们强烈在意别人看法并渴望获得社会认可,尽管这些现象从进化时间尺度看极其新近[72] - 人类具备一种对"好"与"坏"的内在感知能力,这种普遍感知在人类身上极其强大且稳定可靠[36] - 五岁孩子接触到的信息量非常有限,但认知能力已经足以胜任某些工作,表明人类拥有强大的通用学习机制[33]
大模型不再拼“块头”——大语言模型最大能力密度随时间呈指数级增长
科技日报· 2025-11-25 00:13
文章核心观点 - 清华大学研究团队提出大模型“密度法则”,用以衡量AI大模型的智力能力水平,该法则揭示最大能力密度随时间呈指数级增长 [1] - 能力密度的提升意味着可用更少参数实现相同智能水平,推动大模型向高效化、普惠化发展 [1][2] - 密度法则与摩尔定律类似,为学术界和工业界的技术创新提供科学指引,促进AI应用更广泛地部署于终端设备 [3] 密度法则的定义与内涵 - 能力密度是衡量大模型每一单位参数所包含智慧水平的指标,类似于评价芯片的电路密度 [1] - 研究核心假设为采用相同制造工艺和充分训练的不同尺寸模型,其能力密度相同 [1] - 行业评价重心从模型的“块头”(参数量)转向“能力密度”,关注其高效发展规律 [2] 密度法则的量化规律 - 对51个开源大模型的系统分析显示,最大能力密度从2023年2月至2025年4月约每3.5个月翻一倍 [1][2] - 同能力模型的推理开销随时间呈指数级下降 [2] - 能力密度提升速度在ChatGPT发布后加速,从每4.8个月翻倍提升至每3.2个月翻倍,增速提升50% [2] 对行业发展的影响 - 能力密度提升使运行大模型所需算力减少,成本降低 [3] - 结合芯片电路密度(摩尔定律)与模型能力密度提升,大模型未来可部署于终端芯片 [3] - 终端部署在响应速度和用户隐私方面具备先天优势,驱动智能座舱从“被动响应”走向“主动服务” [3]
智能体崛起!
搜狐财经· 2025-10-09 17:53
OpenAI的战略转型与新产品 - OpenAI从模型公司转型为“用自然语言驱动生产力”的智能体平台 [2] - 推出四个核心新物种:Apps SDK(自然语言创建应用)、AgentKit(多智能体系统框架)、Codex(自动编写修复测试代码)、Sora 2(一句话生成视频模型和应用)[2] AI驱动的生产力革命与个体能力跃迁 - AI释放的生产力属性让每个人有机会成为“自开发”、“自公司”、“自团队”,其影响是自媒体时代的千倍万倍 [5] - 个体将能独立完成写出代码、产出软件、落地产品的完整生产闭环,催生由无数个体开发的“自产品”世界 [5] - 技术进步最伟大的发明是赋予个体“能力平权”的思想和能力 [6] AI时代工具的本质与超级个体组织 - AI工具将把真正脑力劳动者的能力放大到超人级别,实现“一个人+多个Agent”的超级个体组织 [9] - 执行层面按部就班的中层管理角色将被“中层机器人”取代,个体可独立完成定义产品、搭建团队、制定流程、生成广告、管理用户的完整商业链路 [9] - 未来创业只需调研机器人、开发机器人、营销机器人等Agent集群,资本将投向“Agent集群”及其调度者 [10] 公司组织形态的重构与平台格局演变 - 公司的本质是分工协作的制度化,当智能体能自动分工执行评估,组织本身需要Agent重构 [11] - 个人需要新的“组织力”来管理时间、协调多个Agent配合以及用机器人管理其他机器人 [12] - AI时代科技主导者可能从七家巨头缩减到两三家,平台将围绕AI重建内容、商业、社交和资本生态 [17] AI原生平台的结构优势与内容产业变革 - Sora 2作为AI时代的“抖音”,其最大优势在于“原生结构”更优:内容由语言生成,语义密度高,生成过程可直接向量化内容以实现精准分发 [14][16] - 传统视频平台第一关卡在内容理解,而AI原生平台在语义空间中进行推荐更准确高效 [16] 技术红利分配与差异化竞争策略 - 技术红利下放但最终胜出者仍是极少数,例如人人都能拍视频但能破千播放量的仅占前3%,能赚到1万元的又是这3%里的3% [18] - “规模法则”适用于技术、商业和社会,最强者一骑绝尘,多数人面临增长瓶颈和全球性“内卷” [19] - 差异化竞争策略是不与顶尖0.01%正面竞争,而是在自有坐标中做到差异化的0.01% [19] 未来技术演进与核心竞争力 - 量子计算等高阶算力平台将使“想法”到“实现”的时间差无限逼近“瞬时”和“边际零成本” [21] - 当“实现”不再稀缺,唯一的真正竞争力将回归创意与思想本身 [22]
人形机器人亿元级订单接连落地,半年前刚投钱的股东向智元下单近千台
新浪财经· 2025-10-09 11:45
行业订单趋势 - 国内具身智能机器人领域亿元级订单落地节奏自今年下半年以来加快 [1][4] - 2025年被业内视作人形机器人商用化元年 [4] - 国内多家本体企业已在2024年底至2025年初完成百台至千台交付 [7] 智元机器人合作与订单 - 智元机器人与龙旗科技达成深度战略合作 获得数亿元金额的智元精灵G2机器人框架订单 [1] - 合作将部署近千台机器人 是目前国内工业具身智能机器人领域最大订单之一 [1] - 智元机器人将提供从场景适配、定制、安装培训到技术维护的全周期一体化服务 [2] - 龙旗科技持有智元机器人0.7394%的股权 并参与其B轮融资 [2] - 智元机器人曾与富临精工达成数千万元项目合作 近百台远征A2-W将落地工厂 [4] - 智元机器人中标中移信息人形双足机器人代工服务采购项目 获得7800万元订单 [6] 其他公司动态与订单 - 智平方与深圳慧智物联达成战略合作 计划未来三年内在惠科全球生产基地部署超过1000台具身智能机器人 [4] - 智平方自有工厂于今年9月正式投产 年产能超千台 [4] - 优必选于4月签订大型双足人形机器人采购合同 7月中标觅亿汽车9051.15万元项目 [5] - 优必选于9月初获得某国内知名企业2.5亿元具身智能人形机器人产品及解决方案采购合同 创全球人形机器人最大合同纪录 [5] - 优必选子公司UQI优奇与天奇股份签订总价3000万元的Walker S系列采购合同 将于2025年底前完成交付 [6] - 宇树科技中标中移信息人形双足机器人代工服务采购项目 中标金额为4605万元 [6] 行业应用与挑战 - 智元精灵G2前期重点应用于平板产线 实现具身智能机器人在消费电子组装制造场景批量落地 [1] - 行业真正推动非线性增长的转折点在于硬件降本与机器人大脑智能的双重突破 [7] - 当前交付场景多集中于科研、教育、展示等ToG领域 软件层的智能突破尚未显现 [7]
Anthropic CEO“讨伐”黄仁勋、奥特曼:一个令人失望,一个动机不纯
36氪· 2025-08-01 04:12
核心观点 - Anthropic首席执行官驳斥英伟达CEO关于AI安全控制的批评 强调公司推动"向上竞赛"的使命 通过透明政策和创新研究引领行业发展[1][3] - Anthropic营收从2023年1亿美元飙升至2024年前7个月45亿美元 按此增速两年后或达千亿美元[1][5][9] - 公司认为AI发展遵循指数增长规律 模型能力与经济价值将持续快速提升 编程用例成为战略重点[8][9][11][16] - 强调使命认同感是留住人才的核心 Meta高薪策略长期效果存疑 公司已筹集近200亿美元资金 资本效率优于竞争对手[5][13][14][15] 驳斥黄仁勋"AI安全控制论" - 明确否认试图通过AI安全议题控制行业 强调Anthropic通过发布负责任的扩展政策、可解释性研究等透明措施促进行业整体进步[3] - 指出黄仁勋的批评是对立场的曲解 公司目标是树立标杆鼓励其他公司效仿而非技术垄断[3] - 随着AI能力提升 公司认为有必要更公开地表达观点 包括警示潜在风险与强调积极应用[3][4][7] AI指数增长与技术突破 - 坚信AI发展遵循指数增长规律 模型能力每6个月翻倍 未发现阻碍扩展的根本障碍[8][9] - 编程能力显著提升 模型在SWE-Bench测试得分从18个月前3%提升至当前72%-80% 内部大部分代码由AI协助完成[11] - 持续学习问题可通过规模法则解决 上下文窗口已扩展至数百万单词 接近人类一生信息接收量[11] - 否认忽视新技术开发 每款Claude模型均伴随架构、数据和训练方法创新 人才密度保障技术持续进步[12] 资源竞争与商业模式 - 已筹集近200亿美元资金 数据中心规模与行业领军者相当 受能源和资本化限制而非资金短缺[13] - API是主要收入来源(占比60%-75%) 企业用例被视为更具潜力 模型能力提升对商业客户价值显著[16] - 编程成为战略重点 因其商业价值突出且能反哺模型开发 定价逻辑基于创造价值而非单纯成本[16][17] - 预计今年亏损30亿美元 因持续投资新模型训练 现有模型本身已盈利但整体因研发投入未盈利[19] 行业竞争与人才策略 - Meta高薪挖角策略遭质疑 公司通过系统化薪资制度和使命认同保持低流失率[5][13][14] - 强调资本效率优势 以1亿美元实现其他公司10亿美元效果 收入增速证明竞争力[15] - 开源模型威胁被夸大 竞争核心在于性能而非开源 云端微调服务可弥补开源优势[20] 公司创立背景与价值观 - 离开OpenAI因认为其领导层动机不够真诚 另立门户追求"真诚的影响力"[22][23] - 批评OpenAI CEO行为极端不道德 强调组织决策对AI安全的关键作用[24] - 平衡AI潜力与风险 主张渐进式监管 若技术失控将呼吁全球暂停开发[25]
为什么定义2000 TOPS + VLA + VLM为L3 级算力?
自动驾驶之心· 2025-06-20 14:06
规模法则在自动驾驶中的应用 - 小鹏汽车在CVPR 2025论文中验证规模法则(Scaling Laws)在自动驾驶领域持续生效,核心发现是模型性能与参数规模、数据规模、计算量之间存在幂律关系 [4] - 在10亿(1B)、30亿、70亿直至720亿(72B)参数的VLA模型上验证了"参数规模越大模型能力越强"的规律 [6] - 确立了"海量高质量数据+大模型驱动"的自动驾驶能力跃升路径,VLA模型在VLM基础上增加了决策和行动能力 [6] 自动驾驶算力需求分级 - 从L2到L3级别算力需求呈指数级增长,L2级需80-300TOPS,L3级跃升至千TOPS级别 [8] - L3级需处理复杂城市道路场景,包括多样化交通参与者、动态环境条件等,需大规模神经网络实时推理 [8] - 小鹏提出2000TOPS+VLA+VLM作为L3级自动驾驶算力新标准 [6][8] VLA+VLM架构技术细节 - VLA架构以大语言模型为骨干,集成视觉理解、链式推理和动作生成能力 [10] - 视觉处理模块需数百TOPS算力处理多传感器数据融合 [10] - 语言理解模块在复杂交通场景语义理解时消耗大量计算资源 [10] - 动作规划模块涉及路径规划、行为预测等计算密集型任务 [10] 车载算力与数据中心算力对比 - 车载算力注重实时性与功耗平衡,需在有限空间和功耗下实现高效计算 [12] - 数据中心算力用于离线训练,能力是车载系统的数十至数百倍,可处理海量历史数据 [15] - 车载芯片如NVIDIA Orin、华为昇腾追求高能效比(TOPS/Watt) [12] 行业竞争格局与技术趋势 - 华为昇腾芯片系统算力达400TOPS,蔚来ET7搭载英伟达Orin平台(254TOPS) [17] - 英伟达下一代Thor芯片采用4nm工艺,基础版1000TOPS,增强版2000TOPS [20] - 小鹏G7采用三片自研图灵AI芯片,等效9颗英伟达Orin-X芯片 [20] - ADAS芯片市场份额:英伟达36%(年出货150万片)、特斯拉28%、华为11%、Mobileye 9%、地平线8% [20]