据The Information最新报道，OpenAI等机构的研究人员称，这一问题通常出现在模型训练的后期阶段， 当模型为学习特定领域知识或改善对话风格而接受精选数据训练时。一个典型场景是：同样的数学问题 用正式的证明语言提问时，模型通常能正确作答；但若用随意的口语化表达，模型可能误以为进入了需 要友好回应的场景，转而牺牲准确性来换取格式美观或表情符号。 这一问题凸显了当今AI模型的根本局限：它们并未像人类那样真正理解世界如何运作。部分专家认 为，这意味着模型缺乏泛化能力，无法处理训练材料之外的任务。这对投资者而言并非小事——各大实 验室正获得数百亿美元投资，目标是让模型在医学、数学等领域做出新发现。 当下人工智能大模型正面临一个棘手的技术困境：同一个问题换种说法，模型给出的答案质量可能天差 地别。 这个被称为"分裂大脑"（split-brain）的问题，暴露了AI模型对提问方式的过度敏感——如果模型认为用 户在问一个"高级"问题，它会给出"聪明"的答案；如果它判断这是个"简单"问题，答案质量就会相应下 降。 这也并非人们对即将自动化各行业工作的AI所期待的表现。人类固然会误解问题，但使用AI自动化工 作的初 ...

文章核心观点 - 当前人工智能行业依赖堆算力、拼规模的Scaling发展模式已走到尽头，方向存在根本性错误 [1][3] - 行业竞争将回归“真正的研究”，理论突破比算力预算更重要，范式转变即将发生 [1][5][10] - 谷歌在大模型领域的进展印证了新理论，预示“软硬一体”公司竞争模型将成为人工智能公司的必由之路 [2] Scaling时代的终结 - Scaling战略的确定性吸引海量投资，但高质量训练数据已快见底，收益递减拐点已来临 [3] - 现有路径能再走一段但后劲不足，不会成为真正的智能，需要另一种方法 [3] - 理论正确时所需算力可控，理论错误时再多算力也无效，形成算力悖论 [5] 模型泛化能力的根本缺陷 - 当前模型在基准测试风光但真实场景频繁失败，暴露出泛化能力远逊人类的根本问题 [6] - 模型像偏执的专才，在狭窄领域过度优化却丧失广泛能力，与人类快速学习、广泛适应的智能模式不同 [7][8] - 理解可靠泛化机制是核心未解之谜，修复底层机制可解决许多表面问题包括AI对齐 [8] 研究优先的新算法与公司策略 - 前沿实验室开支被推理基础设施、产品工程等多方分散，真正留给研究的预算差距缩小 [9] - 历史范式突破如AlexNet、Transformer均不需要最大算力规模而依靠洞察力 [10] - SSI公司结构体现纯粹研究理念：无产品、无推理负载，30亿美元融资专注验证泛化理论 [10] 对AGI概念的重新思考与未来预测 - AGI概念被高估，人类本身也不是AGI，智能是通过经验学习具体技能而非一次性前置灌输 [12] - 具备类人泛化能力的学习系统将在5到20年内出现，行业行为将改变，安全合作与政府介入将加深 [13] - 对齐目标倾向关心所有感知生命，这比只关心人类更自然，基于大脑共情神经机制的效率原则 [13] 研究品味与行业范式回归 - 有希望的研究方向通常优美、简洁且从生物智能获得灵感，丑陋方法通常预示问题 [14] - 研究依赖对“某些路径必然有效”的强烈信念，这种信仰是任何规模算力都无法替代的 [14][15] - Scaling为研究信仰提供的替代品已消失，行业将回归由想法驱动、充满不确定性的研究本身 [15]

当前AI发展阶段的评估 - AI技术已实现但经济影响尚不显著，投资巨大但日常体验未发生根本改变[3] - 模型在评估测试中表现出色但实际应用效果和经济贡献存在明显滞后[4] - 模型能力存在"锯齿状"落差，常犯循环性低级错误，泛化能力差[5][6] AI模型训练与性能瓶颈 - 单纯堆数据与算力的"规模化"路径已见顶，预训练数据即将耗尽[5][17] - 强化学习训练使模型过于专注和狭隘，缺乏"意识"导致基础任务表现不佳[4] - 训练环境设计变量过多，可能无意中优化评估目标而忽视实际应用需求[6] - 模型像"应试专家"，通过海量题目填鸭式训练成为答题高手但难以灵活应用知识[7] 价值函数与AI学习效率 - 价值函数被类比为AI的"情绪系统"，可引导AI更高效、鲁棒地学习[5][14] - 价值函数能提供中间步骤反馈，加快学习过程，而非仅依赖最终结果评估[14] - 人类拥有内在价值感知，能快速自我纠正，而模型缺乏此类机制[25] - 情绪作为相对简单的价值函数机制，在进化中硬编码且至今有效服务人类[16] 行业发展阶段与范式转变 - 行业从2020-2025年的"规模化时代"回归到"研究时代"，但拥有更强大计算资源[18] - 规模化"吸走了房间里的所有氧气"，导致创新想法稀缺，公司数量远超新想法数量[28] - 强化学习正成为新的规模化目标，其计算投入可能已超过预训练[19] - 研究所需计算资源并非绝对最大规模，像Transformer最初仅在8-64个GPU上训练[29] SSI公司战略与差异化 - SSI已筹集30亿美元资金，专注于研究"直通超级智能"路径[5][30] - 公司不急于商业化，专注研究，与其他公司将资源用于推理和产品开发形成对比[30][32] - 采用不同的技术方法，主要区别在于技术路径，认为最终策略会逐渐收敛[52][53] - 计划可能调整，考虑渐进式部署，让AI在全球发挥作用并影响世界[33][34] 泛化能力与样本效率 - 模型泛化能力远差于人类，是当前最根本的问题之一[20][21] - 人类样本效率高可能与进化赋予的视觉、听觉和运动等先验知识有关[21][22] - 人类在语言、数学和编程领域的学习优势表明存在更高效的基础学习机制[23] - 人类学习更具无监督特性，所需数据样本少，过程更灵活和鲁棒[24][25] 超级智能发展路径与影响 - 人类级别AGI预计在5到20年内实现[5][55] - 超级智能可能表现为"超级智能的15岁少年"，非常聪明但知识有限，通过部署持续学习[36] - 达到关键点后，广泛部署将引发快速经济增长，不同国家政策将导致增长差异[37][38] - 可能出现多个超级智能体，而非单一系统，形成专业化分工[58][59] AI对齐与安全策略 - 倡导构建"关心有情生命的AI"，认为这比对仅关心人类更为稳健[41][45] - 随着AI能力提升，行业处理安全问题的方式将发生变化，公司会变得更加警觉[40][41] - 对齐策略最终会趋同，包括可靠沟通、确保最早超级智能是对齐的等目标[53][57] - 长期均衡可能通过人类与AI融合实现，例如通过改进版Neuralink成为半AI生物[47] 模型多样化与自我博弈 - 当前模型同质化严重，主要因预训练数据相似，强化学习是分化开始[61][62] - 自我博弈可通过计算而非数据创建模型，激励方法多样性[62][63] - 智能体间竞争自然促使差异化思考，是打破"模型同质化"的路径之一[5][63] - 完全复制相同思维收益递减，真正需要的是具有不同想法的智能体[60] 研究方法与理念 - 好研究应兼具简洁、优雅与对大脑机制的正确借鉴[5][64] - 研究需要"自上而下的信念"，在实验结果与信念相悖时坚持方向[66] - AI应该具有特定"美学"，思考人类本质但必须以正确方式理解[64] - 分布式表示、从经验中学习等概念受到大脑运作方式的启发[65]