AI行业技术路径转向 - 规模化法则正在接近极限，强化学习的算力消耗巨大但并不能算作真正的扩展，扩展与浪费算力之间的界线变得模糊[1] - 行业正在从"规模驱动"重新回到"研究驱动"，科研需要正确的问题和新的方法而非绝对最多的算力[2] - 预训练提供了一套可复用配方：准备足够的数据、算力和能撑住规模的模型结构，性能就会持续上升，但预训练终究会耗尽数据[27] 模型性能与泛化能力 - 当前模型在评估中表现出色但经济影响滞后，存在评估性能与实际现实世界性能之间的脱节[11] - 模型更像投入一万小时练习的算法竞赛选手，虽然训练良好但未必能推广到其他领域[14][15] - 人类学习速度快不是因为预装大量知识，而是因为进化内置了强大的通用学习机制[3][33] - 人类样本效率高的可能解释是进化赋予了我们少量但最有用的信息，对于视觉、听觉和运动能力有强大的先验[33] 公司战略与竞争格局 - 即使创新放缓，各公司依旧会取得显著进展并获得高额收入，差异化可能变得更难但"停滞"并不意味着"衰落"[2] - 规模化扼杀了所有创新空间，导致每个人都开始做同样的事情，公司数量远超创意数量[39] - SSI已经筹集了30亿美元，真正区别在于算力使用方式而非绝对规模，资源需要集中投入重要方向[42][44] - 随着人工智能能力提升，公司在战略协调方面会趋同，OpenAI和Anthropic已经在AI安全方面合作[63][78] 超级智能与社会影响 - 当AI足够强时，许多今天不存在的社会行为会出现，可能带来"全民高收入"并极大提升生产力[3][70] - 真正的风险在于人类可能逐渐从参与者变成旁观者，保持主体性的答案是与AI建立更深层耦合[3][71] - 超级智能最令人担忧的不是意图而是力量，即便目标是善意的，人类仍可能不喜欢实现目标的方式[3][67] - 如果模型被限定在某些领域，它们一样可以极其强大，可以拥有许多功能狭窄的超级智能[3][80] 技术方法与研究重点 - 价值函数能够提高强化学习效率，让系统在中途就能发出预警而不是等到终局才知道失败[22][31] - 预训练的主要优势是数据量庞大且无需费心考虑应该使用哪些数据，试图捕捉人们将世界投射到文本的过程[16] - 研究品味来自对简单而清晰信念的坚持，人工智能应该符合大脑的本质结构但要以正确方式理解大脑[4] - 自博弈提供了一种仅使用计算资源而无需数据即可创建模型的方法，如果数据是最终瓶颈则非常有趣[83] 学习机制与进化启示 - 人类的价值判断情感是演化出来的底层代码，这种情感关键点是社会中正常运转的基石[24] - 进化赋予了我们高度抽象的社交欲望，让我们强烈在意别人看法并渴望获得社会认可，尽管这些现象从进化时间尺度看极其新近[72] - 人类具备一种对"好"与"坏"的内在感知能力，这种普遍感知在人类身上极其强大且稳定可靠[36] - 五岁孩子接触到的信息量非常有限，但认知能力已经足以胜任某些工作，表明人类拥有强大的通用学习机制[33]