文章核心观点 - 算法、框架和部署技术的演进正深刻影响未来端侧芯片的设计，当前端侧芯片在支持大模型时面临效率未达上限的挑战 [1][2] - 视觉与语言大模型带来的性能飞跃使Transformer架构支持势在必行，但其计算复杂度对端侧设备的算力和带宽提出巨大需求 [4] - 线性注意力、动态稀疏MoE、低比特量化和Token压缩是未来端侧芯片设计需重点关注的四大确定性技术趋势 [5][7][11][14] 注意力机制演进对芯片设计的影响 - Transformer自注意力机制的计算复杂度与序列长度呈平方关系，对prefill阶段算力和decode阶段带宽构成挑战 [4] - 线性注意力机制通过核函数近似将计算复杂度降至线性水平，RWKV、Mamba、DeltaNet等属此路线 [5] - 稀疏注意力通过将序列长度n变小来突破瓶颈，DSA、MoBA等技术是典型代表，今年ACL最佳论文DSA即属此类 [5] - 对端侧芯片而言，注意力机制变体影响有限，只要算子可融合则计算效率依然高，通道数、head数及SRAM容量是更关键瓶颈 [5] 动态稀疏与MoE技术的影响 - MoE技术在推理阶段只激活部分专家，14B稠密模型与30B-A3B稀疏模型相比，后者性能更好且推理时省算力、省带宽 [8] - 单batch场景下MoE优势明显，但多batch decode阶段带宽需求几乎等同于30B稠密模型，此时反而不如稠密模型 [8] - 蚂蚁集团MoE模型（100B-A6.1B及端侧16B-A1.4B）展现出稀疏性加大趋势，未来MoE技术将驱动芯片向大内存、中带宽、中算力方向发展 [9] - MoE模型压缩是工业界需关注的重点，例如MoNE等工作致力于降低内存需求 [9] 低比特量化技术趋势 - Deepseek采用FP8训练开启低比特量化新时代，端侧大模型对4bit及以下量化有更激进需求 [11] - 技术呈现四大特性：权重专用量化（如GPTQ、AWQ）以解决decode带宽瓶颈；低精度浮点与定点数两条技术路线；细粒度量化提升精度；动态与静态量化的权衡 [11][12] - 混合量化是未来趋势，尤其适合处理大模型层内层间数值不平衡问题，在MoE模型上有更大应用潜力 [12] Token压缩技术的影响 - Token维度压缩极大降低端侧大模型应用门槛，视觉Token数量远超文本Token且冗余度高，是压缩重点 [14] - FastV、PyramidDrop、Holov、LightVLM、SpecPrune-VLA等工作近期呈现井喷式发展 [14] - 对芯片设计而言，Token压缩技术是纯收益，能够直接降低计算量 [14]