当前AI技术路线评估 - 当前模型持续改进但无法实现AGI，现有技术路线后劲不足[3] - 真正可行的AGI系统架构至今尚未掌握构建方法[3] - 模型泛化能力远逊于人类，即使使用所有编程竞赛题目训练仍无法形成真正的解题直觉[3] - 评测结果与现实应用出现明显脱节，评估分数光鲜但实际性能滞后[5][8] - RL训练最终演变为对评估指标的过度优化，真正的奖励机制黑客是设计基准测试的科研人员[3][6] Scaling Law与预训练瓶颈 - 预训练时代已终结，行业正从Scaling时代走向研究时代[1][13][14] - 预训练最大突破是Scaling配方好用，但数据有限总有用光之时[12] - Scaling把行业创新空气吸干，导致公司数量远远多于点子数量[15] - 未来创新将回归小而美实验，类似AlexNet用两张GPU、Transformer用8-64块GPU的模式[16][18] - 已见证从预训练Scaling切换到RL Scaling，但RL非常烧算力且效率低[15] 模型泛化能力与学习机制 - 人类学习能力来自自进化硬编码的价值函数，情绪是决策系统一部分而非噪音[10] - 当前AI的价值函数训练方式脆弱粗糙，还不是内置的[11] - 预训练优势在于数据量大且无需刻意挑选，具有天然高度真实性[8] - RL训练让模型目标变得单一狭隘，削弱全局感知能力[5] - 模型在基础任务上表现不佳，如在修复bug时会反复犯同样错误[5] AGI/ASI发展路径与影响 - ASI可能在5-20年内降临，实现人类级别学习能力后变得超越人类[3][51] - 超级智能不是完成形态心智，而是能够学会做每一项工作的心智[29][30] - 部署将包含通过试错学习时期，是过程而非直接投放最终成品[29] - 一旦实现这种学习算法，可能会迎来一波快速的经济增长[32] - AGI与AI的本质区别在于力量，当力量很大时会发生难以想象的事情[38][40] 行业趋势与安全考量 - 随着AI变得更强大，政府和公众会产生做点什么的愿望，公司将更加充满危机感[43][44] - 竞争激烈的公司开始在AI安全方面合作，OpenAI和Anthropic已迈出第一步[44] - 构建稳健对齐、专门关爱有感知生命的AI比仅关爱人类生命的AI更容易[48][49] - 渐进主义将是任何AGI计划与生俱来的组成部分，逐步发布可分散冲击力[19]