算力假说
搜索文档
万亿级 AI 赌注之后,Ilya Sutskever:只堆算力和肯做研究,结果会差多远?
36氪· 2025-11-26 01:02
AI行业投资趋势 - 全球AI支出预计2025年接近1.5万亿美元,2026年突破2万亿美元 [1] - 本十年AI基础设施总投入可能达到3万亿至4万亿美元,被视为新工业革命 [1] - 行业当前普遍采取抢购GPU、建设数据中心、拉电网的资源投入策略 [2] 行业范式转变 - AI行业正从扩展时代(堆算力)转向研究时代(方法论创新) [5][6] - 扩展范式依赖参数、算力、数据三要素放大,但边际收益正快速下降 [4][7] - 未来行业差距将取决于研究能力而非资源规模,创新方向比投入规模更重要 [4][7] 当前模型局限性与训练方法问题 - 大模型迁移能力远不如人类,benchmark分数高但实际经济价值有限 [4][9] - 模型存在系统性缺陷:会考试但不真正理解,容易出现重复语句等低级错误 [9][11] - 训练方法过度依赖评测基准导致模型像刷题机器,缺乏泛化能力 [10][12] - 预训练模式让模型见过大量案例但理解不深,无法自主总结规律 [16][17] - 强化学习容易过拟合奖励函数,模型缺乏自我判断和纠错机制 [17][19] 新一代AI发展方向 - 需要让模型具备持续学习能力,从离线预训练转向在线学习 [27][29] - 关键突破在于训练方法能教会模型泛化,将知识应用到新场景 [12][13] - 安全对齐问题本质是泛化能力不足,需贯穿整个训练过程而非最后检查 [25][26] - 理想模型应具备自我评估推理能力,类似人类情感中枢的判断机制 [29][30]