梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 2026年新年第一天， DeepSeek 上传新论文。 给何恺明2016成名作ResNet中提出的深度学习基础组件 "残差连接" 来了一场新时代的升级。 DeepSeek 梁文峰 亲自署名论文，共同一作为Zhenda Xie , Yixuan Wei, Huanqi Cao。 随着Transformer架构的崛起，这一范式已成为GPT、LLaMA等大语言模型的标准配置。 这个设计之所以成功，关键在于 "恒等映射" 属性，信号可以从浅层直接传递到深层，不经任何修改。 近期出现的 Hyper-Connections（HC） 试图打破这一格局。HC将残差流的宽度从C维扩展到n×C维，并引入三个可学习的映射矩阵来管理 信息流动。 DeepSeek团队的实验表明，在这三个映射中，负责残差流内部信息交换的Hres矩阵贡献了最显著的性能提升。 | ost | HPre | Hres | Absolute Loss Gap | | --- | --- | --- | --- | | 0.0 | - 0.022 | | | | - 0.025 | - 0.027 | | | ...