文章核心观点 - 脉冲神经网络性能不佳的根本原因并非二进制激活导致的信息损失，而是其固有的频率偏置问题，即脉冲神经元本质上是一个低通滤波器，会抑制高频成分并倾向于传播低频信息[4][8][19] - 通过引入高频算子（如Max-Pooling和深度卷积）来补偿SNN的低频偏好，新提出的Max-Former架构在提升精度的同时实现了能效的显著优化[24][27][30] SNN性能瓶颈的传统认知与新发现 - 传统观点普遍将SNN的性能落后归因于二进制脉冲带来的信息损失[5][6] - 新研究指出二进制本身不应是瓶颈，因为低比特乃至二值网络在ANN中也能取得逼近全精度的性能，且SNN的脉冲序列在时间轴上可编码log(n)-bit精度的信息[7] - 真正的瓶颈在于脉冲神经元在网络层面是一个低通滤波器，导致高频成分快速消散，难以捕捉关键细节和纹理[8][10][12] 频率偏置问题的实验验证 - 在脉冲Transformer中，使用高通算子Max-Pooling（79.12%）比低通算子Avg-Pooling（76.73%）在CIFAR-100上性能提升2.39%[15] - 这一发现与ANN Transformer的研究结论相反，在ANN中倾向于捕捉全局低频模式的Avg-Pooling更常见[16][17] - 理论分析证明脉冲神经元的充电过程传递函数是一阶无限脉冲响应低通滤波器，其波形产生的高频成分是虚假的，无法在网络中有效传播[19][20][21] Max-Former新架构的设计与性能 - 架构通过两个轻量级高频算子补偿低频偏好：在Patch Embedding中添加额外Max-Pooling在信息源头注入高频信号，以及用深度卷积替代早期阶段的自注意力以保留局部高频细节[24][28] - 在ImageNet上，Max-Former-10-768（4时间步）取得82.39%的Top-1准确率，以更少参数量（63.99M vs 66.34M）大幅超越Spikformer达7.58%[27] - 在实现性能突破的同时，能量消耗降低超过30%[30] - 在小规模数据集（如CIFAR-10上达97.17%，CIFAR-100上达83.06%）和神经形态数据集上均达到SOTA性能[29][34] 新视角的普适性验证 - 将高频信息重要性的洞察延伸到经典卷积架构，提出的Max-ResNet仅通过添加少量Max-Pooling操作就显著提升性能[33][34] - 这项工作表明SNN的优化路径不应简单模仿ANN的成功设计，而需针对其固有特性进行频率层面的补偿[35]