DeepSeek方面表示，这是一个实验性(Experimental)的版本。作为迈向新一代架构的中间步骤，V3.2- Exp在V3.1-Terminus的基础上引入了DeepSeek Sparse Attention(一种稀疏注意力机制)，针对长文本的训 练和推理效率进行了探索性的优化和验证。目前，官方App、网页端、小程序均已同步更新为 DeepSeek-V3.2-Exp，同时API大幅度降价。 新京报贝壳财经讯(记者罗亦丹)9月29日，DeepSeek在官方公众号发文称，发布DeepSeek-V3.2-Exp模 型。 目前，该模型的API价格为每百万tokens输入0.2元(缓存命中)，2元(缓存未命中)，输出3元。相比此前， 开发者调用DeepSeek API的成本降低逾50%。 ...

卷不过，根本卷不过。 被称为"价格屠夫"的DeepSeek再次挥刀降价了。 9月29日晚间，DeepSeek宣布正式发布 DeepSeek-V3.2-Exp模型，性能仍是稳步提升，但出乎意料的是，调用价格大幅降低，尤其输出价格大降75%，业界人 士表示"这很难卷得过"。DeepSeek提到，在新价格政策下，开发者调用DeepSeek API的成本将降低50%以上。 具体来看，输入价格上，缓存命中时，DeepSeek-V3.2-Exp从0.5元/百万tokens降至0.2元/百万tokens，缓存未命中的价格则从4元/百万tokens降为2元/百万 tokens；输出价格上，从12元/百万tokens直接降到了3元/百万tokens。 此外，为支持社区研究，DeepSeek 还开源了新模型研究中设计和实现的 GPU 算子，包括 TileLang 和 CUDA 两种版本。团队建议社区在进行研究性实验 时，优先使用基于 TileLang 的版本，以便于调试和快速迭代。 值得一提的是，就在9月22日，DeepSeek才发布了DeepSeek-V3.1-Terminus模型，Terminus在拉丁语里是终点、界限的意思 ...

大模型注意力机制改进 - 近期DeepSeek和Kimi分别推出NSA和MoBA架构，聚焦改进大模型核心机制"注意力机制"，旨在提升长文本处理能力[4] - 注意力机制优化需解决两大瓶颈：显存开销随序列长度线性增长、计算复杂度呈平方级增长[16] - 稀疏注意力成为主流改进方向，通过仅保留关键连接提升效率，数学上Softmax机制天然支持稀疏性[16] 技术实现路径 - NSA采用硬件协同设计，在Block级别进行稀疏计算，利用Triton框架优化GPU并行效率，实现11.6倍解码加速[24][31] - MoBA创新性地在预训练阶段引入稀疏性，通过混合分块注意力保留远距离关键信息，效果超越稠密注意力[20][37] - 两种方案均采用动态稀疏机制，结合内容相关性动态选择关注区域，平衡效率与效果[38] 性能验证 - NSA在270亿参数模型训练中，损失曲线与稠密注意力趋同，推理任务表现更优[42][46] - MoBA在Llama-8B模型测试中，GSM8K数学推理得分达0.7278，优于稠密模型的0.7142[49] - 长文本专项测试显示，32K输入下末端1K词元预测损失显著降低[43] 行业应用前景 - 多模态发展将大幅增加输入长度，1小时视频相当于100万token，需开发跨模态注意力模式[55] - 长思维链生成成为RL训练关键，DeepSeek-R1显示输出长度随训练步数持续增长[26][28] - 科研场景被视为AGI重要突破口，需存储数月研究过程数据并支持复杂推理[59][62] 硬件与算法协同 - GPU显存发展滞后算力增长，B200显存仅为A100的1.2倍，迫使算法层压缩存储需求[53] - 系统层优化如FlashAttention使显存占用降低量级，算子级优化成为效率突破关键[20][35] - 未来可能结合RNN固定存储优势与注意力机制，探索存储复杂度新平衡点[53]