Workflow
Scaling Law(扩展定律)
icon
搜索文档
谢尔盖·布林首次复盘:谷歌AI为什么落后,又如何实现绝地反击
36氪· 2025-12-15 00:19
谷歌AI战略的反思与调整 - 公司创始人承认在AI浪潮初期出现战略误判,尽管八年前发布了Transformer论文,但内部未给予足够战略重视,且在算力扩展上投入保守[1][18] - 公司早期因担心聊天机器人输出错误信息或不当言论而在产品化路径上迟疑不决,这给了OpenAI绝佳的空窗期,使其通过ChatGPT占据市场前沿[2][18] - 创始人回归一线并亲自投身于Gemini模型的研发,以扭转被动局面,并透露内部测试的模型版本远强于公开版本,计划在几周后推向市场[2][37] 谷歌AI的核心优势与全栈能力 - 公司在芯片层拥有第七代TPU Ironwood,在性能、能效比和互联带宽上显示出对GPU的显著优势,为Gemini 3系列模型提供硬件支撑[2][20] - 公司在模型层推出Gemini 3系列,具备原生多模态能力和超长上下文窗口,从基础架构层面支持文本、代码、图像、音频和视频的统一理解和生成[3] - 公司在应用层将模型能力深度融入核心生态,包括Workspace生产力套件、核心搜索产品(转变为由Gemini驱动的摘要性答案)以及Veo等视频生成应用[3] - 公司拥有全链条自主可控能力,包括早在12年前启动的TPU项目、大规模数据中心、深度学习算法以及深厚的人才库和基础研究功底,这构成了其快速迭代的护城河[3][4][7][20] 对AI行业发展方向的判断 - 创始人认为,真正的决胜点可能在于算法效率而非单纯的算力堆砌,过去十年算法层面的进步速度跑赢了单纯的算力扩张速度[4][8][34] - 公司在Gemini 3的研发中,不再单纯追求参数量的盲目膨胀,而是转向更高效的MoE(混合专家)架构和长上下文处理能力[4] - 创始人表示,尚不清楚智能是否存在天花板,AI不仅是代码生成的工具,更是人类能力的倍增器,建议年轻一代学会利用AI来提升创造力[4][10][23] 谷歌的创新文化与历史 - 公司起源于创始人在斯坦福的学术研究,早期尝试将PageRank技术授权给其他公司未果,最终创立了如今市值4万亿美元、每分钟处理1000万次搜索的巨头[14] - 公司的创新文化源于早期对基础研发的投资、雇佣大量博士以及鼓励尝试和容忍失败的理念,创始人认为深层次的技术变得越来越重要[14][16][17] - 创始人以Google Glass为例,反思了过早将不成熟产品商业化的错误,建议创业者应确保将想法充分开发到足够成熟的阶段再推向市场[32][33] 对学术界与行业关系的看法 - 创始人认为,从新想法出现到具备商业价值的时间跨度已大幅缩短,行业在推动创新方面作用巨大,且顶级公司正在投入更多基础研究[30][31] - 创始人指出,仍有一些更纯粹、更基础的研究可能需要长达十年的孵化期,这类研究可能因上市时间太长而让公司不愿推进[31] 对其他技术领域的展望 - 当被问及被低估的新兴技术时,创始人提到了量子计算和材料科学,认为材料科学的潜力没有上限[36] - 其他参与者补充认为,生物学、健康领域及分子科学正在发生一场巨大的革命,其受关注程度可能不如人工智能但同样重要[37]
Scaling Laws起源于1993年?OpenAI总裁:深度学习的根本已揭秘
具身智能之心· 2025-09-03 00:03
扩展定律的历史溯源 - 扩展定律(Scaling Laws)的核心观点是将模型性能与算力等资源投入相关联 成为构建先进大模型的重要参考标尺[2] - 康奈尔大学博士生Jack Morris指出扩展定律的真正探索者是贝尔实验室 其研究可追溯至1993年[3] - OpenAI联合创始人Greg Brockman认为贝尔实验室的研究结果跨越多个数量级和数十年时间 揭示了深度学习的根本[7] 贝尔实验室的扩展定律研究 - 1993年NeurIPS论文提出通过预测分类器性能来优化算力分配 避免高成本训练过程[12] - 研究证明模型错误率与训练数据量在对数曲线上呈现规律性 并适用于单层和多层网络[12] - 实验显示经过12000种模式训练后 新网络性能优于旧网络 证明模型规模扩大可提升智能水平[16] 论文作者贡献 - 一作Corinna Cortes论文引用量达104,248次 与Vladimir Vapnik共同提出支持向量机(引用77,000+次)并参与构建MNIST数据集[19][21] - 二作Lawrence D Jackel曾与Yann LeCun合作完成高引用研究 包括反向传播论文[23] - 三作Sara A Solla最高引用论文《Optimal brain damage》运用信息论优化神经网络规模[25] - 四作Vladimir Vapnik引用量335,349次 提出统计学习理论VC理论[27] - 五作John S Denker涉足多个领域 包括量子物理 计算机安全及神经网络 并拥有多项专利[29][30] 扩展定律的早期探索 - 心理学领域最早研究学习曲线概念[36] - Vladimir Vapnik在1960年代已研究样本大小的扩展定律[37] - Frank Rosenblatt在1958年感知器论文中清晰描述学习曲线[38] - 日本学者甘利俊一1992年论文证明学习曲线渐进行为 显示预测熵收敛规律与参数数量相关[40][41] 研究脉络总结 - 扩展定律的发展是跨学科跨时代的累积过程 从心理学 感知器到系统化研究 最终通过大规模实验验证[43] - 该定律并非突发顿悟 而是数十年理论与实践反复印证的结果 体现科学探索的长期积累[43]