Workflow
生成对抗网络(GANs)
icon
搜索文档
观察| 杨立昆离职:我们不在AI泡沫中,但在LLM泡沫中
文章核心观点 - 当前人工智能领域存在严重的大语言模型泡沫,将LLM等同于AI是片面和危险的[1] - LLM只是人工智能发展长河中的一朵浪花,而非整个AI领域的源头或终点[8] - 过度聚焦LLM导致资源分配失衡,挤占了其他重要AI研究方向的发展空间[16] - 中国AI发展存在隐忧,高校人才培养过度窄化于LLM赛道,可能错失下一代AI技术布局机会[17][19] AI发展历史与现状 - 人工智能本质是让机器学会像人一样思考做事的大工程,并非某类技术的专属冠名权[5] - AI发展70年历程是机器视觉、语音识别、强化学习、生成模型等多领域共同进步的结果[6][8] - 从1956年达特茅斯会议定名AI开始,经历了感知机、专家系统、深蓝、AlexNet、AlphaGo等多个里程碑[6] - 在自然语言处理领域,LLM只是晚来的晚辈,1966年ELIZA聊天机器人已能模拟真人对话[8] - 杨立昆批评当前LLM为"统计鹦鹉",只会模仿人类说话腔调,却不理解语义内涵[9] 创新规律与LLM泡沫 - 真正改变世界的创新往往在冷门角落诞生,而非聚光灯下[10] - 科技史上交流电战胜直流电、触屏手机取代功能机等案例证明冷门技术可能成为主流[11] - LLM热潮已陷入"比规模大"的死循环,从百亿参数卷到千亿再到万亿参数[14] - 研究者过度聚焦微调技术,如同在同一个馒头上面雕花,缺乏根本性创新[14] - 真正机会存在于LLM的阴影区:智能体AI、大模型压缩技术、神经符号AI等方向[15] 中国AI发展问题 - 近五年超过150所高校建立人工智能学院,但多数存在师资不足问题[17] - 高校课程设置严重偏向LLM,机器视觉、强化学习等传统优势领域被边缘化[17] - 人才培养同质化导致LLM领域人才过剩,而边缘AI、AI安全等方向人才稀缺[18] - 单一化研究导向正在削弱中国AI的创新根基,可能失去技术备选方案[19] - 需要培养敢闯冷门赛道的叛逆者,而非千篇一律的LLM跟风者[21] 未来发展建议 - LLM是AI发展的重要里程碑,但需要与App生态、5G网络等配合才能发挥真正价值[23] - 企业应结合自身真实需求,制造业可重点发展机器视觉,医疗领域可专注CT影像识别[23] - 研究者应跳出LLM舒适区,关注AI自主解决问题、移动端部署等前沿方向[23] - 高校需进行差异化培养,发挥各自在机器视觉、工业质检等领域的特色优势[21] - AI的未来属于多元智能共生,需要打破"LLM=AI"的片面认知[25]
OpenAI的“新突破”:通用验证器
虎嗅· 2025-08-05 07:04
核心技术机制 - OpenAI正在开发名为“通用验证器”的新技术,该技术采用“证明者-验证者游戏”的内部对抗训练框架,通过让一个AI模型(验证者)检查评判另一个模型(证明者)的输出来系统性提升模型质量[2][3] - 该框架包含两种角色:“证明者”模型负责生成答案,“验证者”模型负责区分答案正误并通过反馈优化证明者,其规模足够小适合大规模部署并为未来GPT部署设计[4][6] - 技术机制类似于生成对抗网络,通过内部对抗解决强化学习在创意写作、数学证明等主观或复杂领域难以验证答案质量的瓶颈[2][5] 技术价值与进展 - 该技术是“通用的”,能显著提升大模型在难以验证任务上的表现,标志着公司正试图攻克AI商业化应用中的核心痛点——可信度[2] - 技术已帮助OpenAI模型在软件编程和创意写作等领域取得进步,例如在复杂数学证明中确保每一步逻辑一致,公司模型近期在国际数学奥林匹克竞赛的突破性成绩很可能得益于此技术[13] - OpenAI高级研究员表示其强化学习方法是“通用目的”的,可验证更主观类别的答案质量,研究员Noam Brown也间接证实了方法的有效性[2][13] 公司背景与整合 - 该关键技术被视为OpenAI前“超级对齐”团队的技术遗产,由联合创始人Ilya Sutskever主导成立,团队解散后其技术成果已被整合进公司核心产品研发路径[9][10][11] - 技术正被应用于GPT-5开发过程,曾在GPT-4代码辅助功能试点的模型自我批判系统已被正式整合进GPT-5这个“下一个主线模型”[12] 行业竞争与预期 - 包括xAI和谷歌在内的竞争对手已将强化学习作为提升模型能力的关键技术路径并加倍投入,在此背景下“通用验证器”被视为公司在白热化AI竞赛中保持领先优势的核心资产[12] - OpenAI首席执行官Sam Altman为GPT-5造势,称其“在几乎所有方面都比我们更聪明”,加剧了市场对GPT-5的高度期望[12]
大模型下一个飞跃?OpenAI的“新突破”:通用验证器
华尔街见闻· 2025-08-05 06:07
下一代大模型GPT-5与通用验证器技术 - OpenAI正在开发名为"通用验证器"的新技术 该技术被视为提升GPT-5市场竞争力的关键武器 已应用于GPT-5开发过程 [1] - 通用验证器采用"证明者-验证者游戏"机制 通过内部对抗训练系统性提升模型输出质量 解决强化学习在主观和复杂领域的验证瓶颈 [1] - 该技术被证实具有通用性 能让大模型在难以验证的任务上表现更好 有助于攻克AI商业化应用中的可信度痛点 [1] 证明者-验证者游戏技术细节 - 技术细节发表于2024年7月OpenAI论文《证明者-验证者游戏提升大语言模型可读性》 构建了内部对抗训练框架 [2] - 框架包含"证明者"和"验证者"两种角色 验证者学习区分正误方案 证明者根据反馈优化生成能力 验证器规模适合大规模部署 [2] - 机制类似生成对抗网络(GANs) 通过"判别器"倒逼"生成器"进步 包含"靠谱证明者"和"狡猾证明者"两种模式 [2][3] 超级对齐团队的技术遗产 - 通用验证器技术源自OpenAI已解散的"超级对齐团队" 该团队由联合创始人Ilya Sutskever主导成立 [6] - 论文六位作者中仅两人仍留任 但技术成果已被整合进核心产品研发 用于解决模型对齐和可靠性问题 [6] GPT-5的市场预期与竞争格局 - GPT-5整合了曾在GPT-4试点的模型自我批判系统 市场期望达到新高 [7][8] - OpenAI CEO Sam Altman称GPT-5"在几乎所有方面都比我们更聪明" 加剧市场期待 [8] - 竞争对手xAI和谷歌也在强化学习领域加倍投入 通用验证器被视为OpenAI保持领先优势的核心资产 [8] 技术突破与现存挑战 - 通用验证器在软件编程和创意写作等主客观领域均展现改进 使AI能力向主观领域渗透 [9] - 该技术帮助OpenAI模型在国际数学奥林匹克竞赛取得突破 可验证更主观类别的答案质量 [9] - GPT-5研发面临高质量训练数据稀缺 大规模预训练收益下降 以及部署后性能衰减等挑战 [9]