来源：量子位 | 公众号 QbitAI 残差连接十年未变，扩展之后却带来隐患 2026年新年第一天，DeepSeek上传新论文。 给何恺明2016成名作ResNet中提出的深度学习基础组件"残差连接"来了一场新时代的升级。 DeepSeek梁文峰亲自署名论文，共同一作为Zhenda Xie ， Yixuan Wei， Huanqi Cao。 DeepSeek团队的实验表明，在这三个映射中，负责残差流内部信息交换的Hres矩阵贡献了最显著的性能 提升。 残差连接自2016年ResNet问世以来，一直是深度学习架构的基石。 其核心机制简洁明了，x+1 = x + F （x ，W），即下一层的输出等于当前层输入加上残差函数的输 出。 这个设计之所以成功，关键在于"恒等映射"属性，信号可以从浅层直接传递到深层，不经任何修改。 随着Transformer架构的崛起，这一范式已成为GPT、LLaMA等大语言模型的标准配置。 这个设计之所以成功，关键在于"恒等映射"属性，信号可以从浅层直接传递到深层，不经任何修改。 近期出现的Hyper-Connections（HC）试图打破这一格局。HC将残差流的宽度从C维扩展到n×C维 ...