文章核心观点 - 当前人工智能行业面临的核心瓶颈并非算力增长停滞，而是现有技术范式（以Transformer架构为核心）对持续增长的算力的吸收和转化效率正在下降，即“算力增长与智能增长之间的映射关系开始松动”[2][22] - 智能的本质可被工程化地定义为“对未来状态进行预测，并为预测结果承担实际后果的能力”，这解释了Next-Token Prediction的成功，也揭示了当前许多模型在真实世界应用中的短板[8][10] - 未来智能增长的关键在于寻找“扩展性更强的架构或Loss函数”，以在极端算力投入下（如300亿美元预算）稳定地将新增算力转化为可兑现的能力增量，而非仅仅追求效率优化（如更高的吞吐量）[23][26] 智能的本质与评估 - 智能的核心能力被定义为对未来状态的预测及承担后果的能力，这为评估智能提供了一个工程化、可验证的标准[8] - 这一视角解释了Next-Token Prediction能成为“智能发动机”的原因，也揭示了在封闭评测中表现优异的系统在真实不确定环境中暴露短板的问题[10] - 将智能凝聚为“预测”是为了划定一个工程上可对齐算力投入的核心能力维度，但规划、因果建模等能力是否能完全还原为预测仍是开放议题[10] 当前技术范式的成功与局限 - 过去十年大模型的智能跃迁依赖于三件事同时发生：GPU提供指数级增长的并行算力、Transformer架构能充分“吃下”这些算力、Next-Token Prediction提供了无限且统一的学习信号[15] - Transformer的成功不仅是算法胜利，更是模型架构与硬件体系（英伟达GPU）高度匹配的系统性结果，它是一台“伪装成神经网络的并行计算机”[6][16] - 该范式的有效性部分受益于语言任务本身高度符号化、序列化，且评测体系与训练目标高度一致的特性[17] - 在此范式下，从GPT-1到ChatGPT，算力增长、模型规模扩大与能力提升之间形成了相对稳定的正反馈链路[18][19] 智能增长的瓶颈所在 - 判断智能瓶颈的具体标准是：当一次训练的FLOPS从10^n变成10^{n+3}（即增长1000倍）时，是否还能稳定获得显著更强的模型[20] - 瓶颈的本质是“算力增长与智能增长之间的映射关系开始松动”，即现有范式对新增算力的吸收效率下降，而非算力红利消失[2][22] - FLOPS被视为最底层、最难被包装的算力尺度，比Token数、参数量等指标更能反映本质[21] - 真正的难点在于缺乏一种“扩展性更强的架构或Loss函数”，能把新增算力稳定地转化为能力增量[23] 对行业主流讨论的批判性视角 - 预训练、监督微调（SFT）、强化学习（RL）三者本质都是在计算梯度、更新参数，可被统一视为不同的“算力使用策略”[11][12] - 当前模型的主要智能来源是预训练阶段，根本原因是其消耗了最多的能源与计算[15] - 行业应关注“在算力持续投入的前提下，是否还能稳定地换取能力增长”这一更朴素的问题，而非陷入方法论之争[15] - Mamba等新架构提升了吞吐量，但解决的是“同等智能更便宜”，不自动等价于“同等成本更聪明”[6][23] 未来发展的潜在方向 - 未来AI基础设施的核心目标应是提升“并行计算体系在软硬件层面的整体扩展性”，而不仅仅是单点芯片性能，需维持或提升计算开销与通信开销的比值[24][25] - 探索方向包括：回归高精度计算（如FP32/FP64）、抛弃Adam优化器、采用更高阶优化器、探索更可扩展的架构或Loss函数、进行更多epoch与更深度的超参数探索[6][25] - 预训练所能承载的智能增长空间可能还远未走到尽头，关键在于找到在极端算力条件下持续变强的能力[26] - 只要还能找到更高效组织计算的方式，智能的上限就远未到来[27]

核心观点 - 当前AI领域的核心架构Transformer存在根本性技术瓶颈，其单向信息流设计导致模型在处理长上下文时智商快速下降，无法支撑具备长期记忆和持续学习能力的通用智能体（Agent）的下一步发展 [1][3][4] 行业技术瓶颈与现状 - Transformer架构是当前生成式AI和大语言模型的基石，其核心创新在于“自注意力机制” [1] - 行业看似进入“稳态”，各种创新模型架构最终都收敛到以Transformer为核心的变体上 [3] - 针对长上下文处理效率瓶颈，业界通过线性注意力、稀疏注意力等技术进行“小修小补”，但未改变Transformer的本质建模能力 [3] - 当前Transformer模型，无论宣称支持多少Token，基本上到8万个就不可用 [3] - Transformer的单向信息流设计缺乏从深层向浅层的反馈与压缩机制，与人类大脑的“无限流”记忆机制存在本质差异 [3] 技术缺陷的具体分析 - 人类大脑能对海量经历进行动态压缩和选择性回溯，而Transformer结构无法实现这种类似“无限流”世界的智能处理需求 [4] - 模型的智商会随着文本变化快速下降，制约了AI向具备高度自主性、能长期持续学习的通用Agent演进 [3][4] - 人类记忆是历史上所有信息的函数，无法用层数固定的网络来表示 [4] 行业反思与探索 - Transformer架构的共同创造者Llion Jones已开始寻找下一次重大突破，并警告研究者因过度依赖现有架构而错失下一个重大突破的风险正在加剧 [4] - Mamba、TTT（Test-Time Training）等新架构正吸引越来越多目光 [4] - 英伟达、Meta、腾讯等巨头已在探索将Mamba与Transformer融合 [4] - 中国科学院自动化所与沐曦合作研发的类脑脉冲大模型“瞬悉1.0”，展示了构建非Transformer架构生态的可行性 [4] 公司研发动态 - 阶跃星辰团队正在探索新的架构方向，一些小规模实验已取得积极结论 [5] - 公司认为未来的架构可能是基于非线性递归网络的全新架构 [5] - 这种架构革新将给系统效率和可并行度带来巨大挑战，需要协同设计才能落地 [5]

Waymo的AI战略与知识蒸馏 - Waymo近期发布深度博客，阐述了其以Waymo基础模型为核心的AI战略[1] - 谷歌首席科学家Jeff Dean在社交媒体上分享了该博客，并重点介绍了Waymo使用的蒸馏方法，该方法与创建Gemini Flash模型的思路类似，旨在基于更大模型创建可机载运行的高计算效率模型[1] 同行评审制度的历史局限性 - 回顾AI发展史，许多支撑起万亿级产业的基石技术在最初问世时，都曾被顶级学术会议拒之门外[6] - 同行评审制度虽为质量守门人，但在面对过于超前或离经叛道的研究时，存在系统性认知滞后，包括简单性陷阱、范式惯性和对理论严谨性的过度要求[41] - 科学发展的非线性表明，同行评审善于识别错误，但往往拙于鉴别天才，真正决定研究生命力的是其解决问题的能力与时间检验[43] 曾被拒稿的里程碑式技术与论文 LSTM (长短期记忆网络) - 论文《Long Short-Term Memory》于1996年被NIPS会议拒稿[7][8] - 在当时神经网络寒冬的背景下，其门控机制被认为参数过多、过于复杂且缺乏生物学合理性[9] - 该论文目前引用量已超过139,707次，并在2010年代随算力与数据爆发，于语音识别和机器翻译中展现出统治级表现[8][10] SIFT (尺度不变特征变换) - David Lowe提出的SIFT算法在1997年和1998年先后被ICCV和CVPR会议拒稿[12] - 拒稿理由是算法被认为过于繁琐、不够优雅，不符合当时学术界对严密数学推导的偏好[12] - 该算法最终以海报形式发表，统治计算机视觉领域长达15年，其论文引用量超过27,389次[13][16] Dropout - Geoffrey Hinton团队关于Dropout的论文在2012年投稿NIPS时被拒[17] - 评审认为随机“删除”神经元的方法过于激进、缺乏数理逻辑，并将作者使用的生物学隐喻视为不够科学的工程技巧[17] - 该技术后来成为AlexNet赢得ImageNet比赛的关键，论文引用量超过60,231次，并获得了NeurIPS时间检验奖[17][21] Word2Vec - Tomas Mikolov等人（包括Jeff Dean）关于Word2Vec的论文在首届ICLR会议上被“强烈拒绝”[20][22] - 评审意见尖锐，认为工作“不科学”、“定义模糊”，且过度关注工程优化而缺乏理论解释[20] - 作者通过开源代码使其迅速普及，成为NLP领域基石，论文引用量超过50,855次，并在2023年获得NeurIPS时间检验奖[20][22] 知识蒸馏 (Knowledge Distillation) - 由Geoffrey Hinton、Oriol Vinyals和Jeff Dean合著的论文在2014年被NeurIPS拒稿，理由是其“不太可能产生重大影响”[3][4][31] - 评审未能认识到“暗知识”概念的深远意义，即知识隐含在错误类别的概率分布中[25] - 该论文最终在研讨会上发表，开启了模型压缩领域，目前引用量已超过28,600次，并成为大模型落地的重要方法[4][27][31] YOLO (You Only Look Once) - 论文《You Only Look Once: Unified, Real-Time Object Detection》在2015年被ICCV会议拒稿[29][32] - 在R-CNN系列主导的时代，评审因其定位精度（mAP）不如当时最优方法而拒绝，忽视了其实现45 FPS实时检测的速度突破[29] - YOLO系列已成为工业界最受欢迎的检测框架，其论文引用量超过69,782次[30][32] RoBERTa - 论文《RoBERTa: A Robustly Optimized BERT Pretraining Approach》在投稿ICLR 2020时被拒[34] - 评审认为其新颖性和技术贡献有限，只是证明了“仔细调参”和“更多数据”的有效性[34] - 该工作成为后续NLP研究的标准基线，论文引用量超过23,479次，揭示了优化训练细节的实战价值[34] Mamba - 论文《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》在ICLR 2024的评审中折戟[35][38] - 评审认为与其前作相比增量不足，且未能在所有任务上全面超越Transformer[37] - 尽管被拒，该架构在社区引发巨大反响，基于Mamba的变体大量涌现，成为2024年最具影响力的架构创新之一，论文引用量已超过6,799次[38][39] 跨领域的启示与案例 - 即使是阿尔伯特·爱因斯坦关于引力波的论文也曾被《Physical Review》送审并收到尖锐的匿名评审意见，尽管该意见后来被证实指出了论文中的一个错误[44][47] - 这些案例表明，一项研究的最终价值取决于其解决问题的能力及历史回响，而非短暂的评审决定[47] - 许多具有深远影响的研究者，包括图灵奖和诺贝尔奖得主，都曾经历过论文被拒[48]

Waymo的AI战略与知识蒸馏 - Waymo近期发布深度博客，详细阐述了其以Waymo基础模型为核心的AI战略[1] - 谷歌首席科学家Jeff Dean在社交媒体上重点介绍了Waymo使用的知识蒸馏方法，该方法借鉴了创建Gemini Flash模型的经验，旨在基于更大模型创建可机载运行的高计算效率模型[1] - 知识蒸馏技术由Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2014年提出，其论文虽被NeurIPS 2014以“不太可能产生重大影响”为由拒稿，但如今已成为模型压缩和大模型落地的标配方法，论文引用量超过28,000次[3][4][29] 被顶级会议拒稿但影响深远的AI技术 - **LSTM**：由Sepp Hochreiter和Jürgen Schmidhuber提出，在1996年被NIPS拒稿，拒稿理由包括参数过多、过于复杂且缺乏生物学合理性，如今引用量达139,707次，并在2010年代后于语音识别和机器翻译中展现出统治级表现[8][13] - **SIFT算法**：由David Lowe提出，在1997年和1998年先后被ICCV和CVPR拒稿，理由是被认为“过于繁琐”、“不够优雅”，最终以Poster形式发表，曾统治计算机视觉领域长达15年，如今引用量达27,389次[11][14] - **Dropout**：由Geoffrey Hinton团队提出，在2012年投稿NIPS时被拒，评审认为其核心思想过于激进且缺乏数理逻辑，但该技术迅速成为AlexNet夺冠ImageNet的关键，如今引用量达60,231次[17] - **Word2Vec**：由Tomas Mikolov等人提出，在首届ICLR会议上收到“Strong Reject”评价，评审认为其“比较不科学”、“定义模糊”，但通过开源代码迅速成为NLP领域基石，并于2023年获NeurIPS“时间检验奖”，如今引用量达50,855次[19][20] - **YOLO**：由Joseph Redmon等人提出，在2015年被ICCV拒稿，评审因其定位精度不如R-CNN系列而拒绝，但忽视了其实现45 FPS实时检测的速度优势，如今YOLO系列已迭代至v13，成为工业界最受欢迎的检测框架，引用量达69,782次[27][28][30] - **RoBERTa**：由Meta AI研究人员提出，在投稿ICLR 2020时被拒，评审认为其新颖性和技术贡献有限，只是“仔细调参”和“使用更多数据”，但该模型超越了原始BERT，成为后续NLP研究的标准基线，如今引用量达23,479次[32] - **Mamba**：由Albert Gu和Tri Dao提出，在ICLR 2024评审中折戟，评审理由包括与其前作S4相比增量不足、未全面超越Transformer等，但该架构在社区引发热烈讨论，基于其的变体大量涌现，成为2024年最具影响力的架构创新之一，如今引用量达6,799次[35][36][37] 科研评价体系的局限与反思 - 顶会评审系统在面对颠覆性创新时存在系统性认知滞后，表现为“简单性陷阱”，即倾向于将数学复杂性等同于研究贡献，从而质疑如Dropout或Word2Vec等简单有效的方法[40] - 评审作为旧范式的维护者，存在“范式惯性”，当YOLO或Deep Image Prior等新思想出现时，旧范式的标准会成为阻碍新思想的壁垒[40] - 在深度学习领域，过度要求理论证明的“严谨性的暴政”可能会扼杀具有巨大实用价值的工程突破，例如Adam优化器初期面临的收敛性质疑[40] - 同行评审虽然是科学共同体的基石，但难以摆脱人类认知的局限性，它善于识别错误，却往往拙于鉴别天才，真正决定研究生命力的是其是否解决问题以及在时间长河中的回响[41][45]

核心观点 - 月之暗面发布的Kimi Linear架构首次在相同训练条件下超越了全注意力Transformer模型，标志着AI架构可能正告别对传统Transformer的路径依赖，迈向多元创新时代 [1][2][32] 架构创新与核心机制 - Kimi Linear的核心创新是Kimi Delta Attention，通过引入细粒度遗忘门控，使模型能在每个通道维度上独立控制记忆保留，保留重要信息并丢弃冗余信息 [12] - 该机制基于改进的Delta Rule，在数学上保证了稳定性，即使在百万级token序列中梯度也不会爆炸或消失 [13][14] - 模型采用3:1的混合层设计，每3层线性注意力后加1层全注意力，以保留全局语义建模能力并在多数层节省计算资源 [15] - 架构移除了传统的RoPE位置编码，让KDA通过时间衰减核函数自行学习序列位置信息，结果模型更稳定、泛化能力更强 [16][17] 性能提升与效率优势 - 在长上下文任务中，Kimi Linear减少了75%的KV缓存需求，并实现了高达6倍的推理加速 [4][23] - 在1.4T tokens训练规模下，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer [22] - 具体表现为：MMLU得分73.8超越基线的71.6，MMLU-Pro得分51.0超越基线的47.2，BBH得分72.9超越基线的71.6 [23] - 在数学推理与代码生成任务上表现更稳定且得分更高，如GSM8K得分83.9，MATH得分54.7 [23][26] 工程优化与部署便利性 - 采用Diagonal-Plus-Low-Rank结构将注意力矩阵拆分为“对角块+低秩补丁”，使GPU在并行计算时能一次性处理更多内容，吞吐率直接翻倍 [18][19] - 通过分块并行计算和内核融合优化，极大地减少了显存I/O开销 [20] - 工程部署上可无缝对接vLLM推理框架，无需改动模型结构或缓存管理，任何基于Transformer的系统理论上都能一键升级为Kimi Linear [21] 行业趋势与替代架构 - Mamba的作者曾论述Transformer并非最终解法，状态空间模型在长序列建模和高效计算上展现出强大的替代潜力 [28] - 谷歌推出的MoR架构探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理 [29] - 苹果公司在多项研究中倾向采用Mamba而非传统Transformer，因SSM架构更节能、延迟更低、适合终端设备部署 [30] - 尽管新架构不断涌现，刚刚坐上开源模型王座的MiniMax M2却重新用回了全注意力机制，显示技术路线存在多样性 [33]

文章核心观点 - 苹果公司最新研究发现，在长任务、多交互的Agent场景中，基于状态空间模型（SSM）的Mamba模型，在结合外部工具后，其效率与泛化能力展现出超越Transformer架构的潜力 [1] Transformer架构的局限性 - Transformer依赖自注意力机制，计算量随输入序列长度增加呈平方级增长，例如处理1000个词需计算100万次词对关系，处理上万词的长文档计算量达亿级，对GPU造成较大负担 [3][4][5] - 高计算成本导致处理延迟显著增加，在需要动态决策与迭代优化的Agent任务中表现不佳，因每一步都需重新计算全局注意力，整体效率偏低 [12] - 在需要反复调整的Agent式任务中，Transformer显得又贵又笨重 [18] Mamba架构的优势与局限 - Mamba作为状态空间模型，不依赖全局注意力，通过持续更新的内部状态理解信息，计算量随序列长度仅呈线性增长，例如处理1000个词仅需对应数量级计算 [6][7][13] - Mamba支持流式处理，可边接收输入边计算，且内存占用稳定，不会随序列长度显著上升，效率突出 [13] - Mamba的局限在于内部状态存储容量有限，处理超长序列时早期信息易被后续输入覆盖，导致对前文关键信息保留能力较弱 [9] “Mamba+工具”方案的性能表现 - 苹果团队提出通过引入外部工具（如指针工具、文件查看工具、运行工具）来扩展Mamba的信息处理能力，相当于为模型提供可动态调用的外部存储和交互接口 [10][11] - 在多位数加法任务中，配备指针工具的Mamba经5位数训练后能稳定处理1000位数计算，准确率近100%，而Transformer处理20位数时已出现明显误差 [15] - 在代码调试任务中，Mamba模拟交互式调试流程，面对高于训练集复杂度的代码库，其正确率显著高于Transformer [15] - 在逻辑推理及汉诺塔等分步规划任务中，结合工具的Mamba能应对更复杂场景，Transformer则计算缓慢或卡壳 [15] - “Mamba+工具”组合补足了Mamba的记忆短板，在Agent场景下反应快且效率提升显著 [16]

英伟达市场地位与竞争格局 - 英伟达当前在AI芯片市场占据约90%主导地位，主要优势在于芯片设计、软件生态及网络通信技术[9][10] - AMD在推理端具备内存容量优势，但在训练端因网络通信瓶颈仍落后于英伟达[10] - 未来2-3年内AI硬件格局将转向多元化，专用芯片厂商如Cerebras、Grok、SambaNova将针对不同工作负载实现差异化竞争[23][24] AI芯片技术发展趋势 - 芯片设计将更适配Transformer、MoE等特定架构，工作负载集中化使专用芯片开发更易实现[10] - 稀疏计算（如MoE架构）增加芯片设计复杂度，需应对内存访问模式变化[13][14] - 硬件需支持三类工作负载：低延迟智能体系统（毫秒级响应）、高吞吐批量处理（海量数据生成）、交互式聊天机器人[24][96][111] 推理成本优化与技术突破 - 近三年推理成本下降约100倍，未来有望再降低10倍[73][90] - 量化技术推动参数表示从16位降至4位，GPT-oss模型1200亿参数仅需60GB存储空间[82][83] - 架构优化如Flash Attention减少内存访问，DeepSeek的multi-head latent attention压缩KV缓存规模[84] - MoE架构显著提升稀疏度，从Mistral的8专家激活2个（25%）演进至GPT-oss的128专家激活4个（1/32）[86][87] 模型架构演进方向 - Transformer仍是基础架构，但MoE、状态空间模型（如Mamba）等创新持续涌现[13][94][132] - 混合架构（Transformer+Mamba）在降低成本的同时提升推理性能[132] - 架构设计趋向"推理优先"，以最大化每浮点操作的推理效率[131][133] AI工作负载分类与优化 - 三类核心工作负载形成：传统聊天机器人（中等延迟）、极低延迟场景（代码辅助等）、大规模批处理（合成数据生成）[96][111] - 低延迟场景用户愿支付更高成本，高吞吐场景注重批量折扣（如OpenAI批量API提供50%折扣）[24][110] - 代理型工作负载成为新焦点，需整合Web搜索、工具调用等外部能力[20][115] 开发工具与抽象层进展 - Triton成为跨芯片抽象层关键，支持英伟达、AMD、Intel GPU，但需牺牲约5%性能换取开发效率提升[38][40][41] - Mojo、Gluon等领域专用语言快速迭代，解决GPU内核开发痛点[45][50][52] - AI辅助编程工具（如Claude Code）提升开发效率约1.5倍，但全自动内核生成仍处早期阶段[56][67][68] 新兴应用场景与市场机会 - 实时视频生成成为消费端趋势，代表企业包括Pika Labs、Hetra[117][118] - 机器人领域存在重大机遇，需解决多分辨率数据处理与现实世界交互数据缺失问题[135][137][138] - 合成数据市场被低估，在航空、金融等专业领域具有经济价值[99][102][148] 学术与产业协同创新 - 基础突破多源于学术界（如Attention机制、Adam优化器、LayerNorm），产业界负责商业化落地[143][144][145] - 学术探索周期长（2-3年），产业执行速度快（周/月级），形成互补创新模式[140][145] - 政府资金支持早期探索（5-10%成功率），风险投资推动规模化应用[142][146]

状态空间模型与Transformer的权衡 - 状态空间模型(SSM)通过固定大小的隐藏状态压缩历史信息，实现流式处理，而Transformer需要缓存所有历史token导致内存线性增长[24] - SSM在字节级建模任务中表现优于Transformer，即使后者使用更多计算资源，表明Transformer存在建模能力局限[53][55][56] - SSM与Transformer结合使用时(比例3:1到10:1)表现更优，类似人类智能通过大脑与外部数据库协同工作[29][30] Transformer的局限性 - Transformer需要数据预处理如tokenization或图像切块，本质上是对其建模缺陷的补偿[35][38][41] - 注意力机制对噪声token处理效率低下，计算量仍随token增加而增长，无法有效过滤冗余信息[69][70] - Transformer的归纳偏置使其过度关注单个token，在低语义密度数据(如字符/DNA序列)上表现较差[62][64][65] 现代循环模型技术演进 - Mamba通过动态转移矩阵、并行扫描算法和内存管理三大技术要素整合，实现与Transformer相当的语言建模性能[13][14][16] - 现代循环模型研究呈现爆发式增长，包括RWKV、xLSTM等变体，共享SISO线性递归和状态扩展核心特征[17][19] - SSM类模型在DNA建模等任务中展现优于Transformer的扩展能力，预示其在处理原生数据方面的优势[60][61] 架构设计哲学 - SSM类似大脑的压缩记忆机制可能促进抽象学习，而Transformer类似数据库的精确召回各有利弊[27][78] - 理想架构应具备处理噪声能力而不增加计算负担，当前模型均未完全解决此问题[71][72] - 扩展定律显示Transformer并非计算效率最优方案，存在改进空间以更好利用FLOP资源[87][88]

序列模型架构比较 - Mamba作为状态空间模型(SSMs)代表，在语言任务上3B规模超越同等Transformer，匹敌两倍规模Transformer [2] - SSMs工作方式类似人类大脑，通过压缩历史信息形成固定大小隐藏状态，适合处理长序列且计算成本呈线性增长 [15][16] - Transformer通过KV缓存完整记录所有token信息，具备精确记忆能力但计算成本呈二次复杂度 [23][25] 模型性能优势 - SSMs在语言/音频/DNA序列模态实现SOTA，计算效率高且内存需求固定 [16] - Mamba通过三大关键改进提升性能：扩大状态维度至RNN的N倍/引入选择性记忆机制/优化训练效率 [17][18][19][20] - Transformer依赖tokenization预处理，在多语言多模态场景存在局限性且违背端到端学习原则 [28][29][30] 架构融合趋势 - 混合架构中SSM层与注意力层最佳比例介于3:1至10:1之间 [37] - 注意力机制二次复杂度并非Transformer主要缺陷，新架构将保持兼容性 [5][7] - 未来方向是结合SSMs的在线处理能力与Transformer的精确检索优势，直接处理原始数据 [36][40] 行业技术发展 - Mamba作者预告几天后将发布架构领域重大进展 [3] - 当前共识可能被推翻，Transformer被视为阶段性最优解而非最终方案 [8] - 架构设计核心指标是FLOPs利用率，需快速转化为模型能力 [39]

循环模型与Transformer对比 - 线性循环模型（如Mamba）和线性注意力机制能处理极长序列，这是其相较于Transformer的关键优势，后者受限于二次计算复杂度和有限上下文窗口[1][2] - 过去循环模型在短序列任务中性能不如Transformer，但近期架构突破使其性能显著提升，已在音频建模、代码补全等工业场景中应用[3] 循环模型的长度泛化问题 - 循环模型在训练长度范围内表现良好，但超出训练长度时泛化能力明显下降，例如Mamba-2在超出训练范围的序列位置困惑度急剧恶化[4][5] - 现有循环模型在长序列和短序列两个维度均未显现明显优势，处于效率与性能的双重瓶颈[6] 长度泛化解决方案 - 通过500步后训练（占预训练预算0.1%）可使循环模型在256k长度序列实现泛化，证明其潜力未被充分释放[7] - 提出"未探索状态假说"：循环模型失败主因是训练时未接触长序列递推产生的状态分布，导致对未知状态处理能力不足[13][14][15] - 四种初始状态干预方法：随机噪声、拟合噪声、状态传递（SP）、TBTT，其中SP与TBTT效果最佳，仅需原始预训练预算0.02%即可实现泛化[19][20][23][24] 干预方法的效果验证 - 在370M参数模型中，拟合噪声干预有效但随机噪声无效；1.3B大模型因状态依赖复杂，需更高级干预手段[25][26] - 干预措施能稳定状态范数增长，提升模型输出稳定性[27] - 在BABILong、密码检索、合成复制三项长上下文任务中，干预后模型表现显著提升，780M模型可完美解决256k序列密码检索任务[31][32][33][35][36][38][39] 上下文处理机制优化 - 提出"有效记忆（EffRem）"指标量化模型对历史token的依赖程度，发现未干预模型对早期token存在不合理依赖[44][45][46][48][49][50] - 状态传递干预后，模型有效记忆曲线呈现理想梯度，优先关注最近上下文，符合自然语言处理需求[51][52]