公司技术突破 - Sakana AI提出了一种名为M2N2（自然生态位的模型融合）的全新模型融合进化方法，该方法从自然演化中汲取灵感，引入了“竞争、择偶、繁衍”的机制 [1] - M2N2方法的核心思想是让AI模型像生物一样演化，通过竞争、协作与结合，繁衍出更强的后代，旨在构建一个多样化的AI生态系统，而非单一的庞大单体AI [1][3] - 该方法已作为研究论文在GECCO 2025会议上发表，并荣获最佳论文提名奖 [3] 技术原理与创新 - M2N2基于自然演化的三个关键思想：演化融合边界、多样性竞争和择偶机制 [5] - 演化融合边界：打破了预定义的静态融合边界（如固定层或块），允许模型像自然界交换可变长度DNA片段一样自由组合，拓宽了探索空间 [5] - 多样性竞争：模仿“丛林法则”，让模型为有限的训练数据资源竞争，迫使模型走向专业化并寻找自己的“生态位”，从而创造出一个由多样化、高性能专家组成的种群 [5] - 择偶机制：引入一种“吸引力”启发式方法，根据模型的互补优势（即在对方弱项上表现出色）进行智能配对融合，这大幅提升了演化搜索效率并降低了计算成本 [6] - 在优化目标上，M2N2将群体能从某个样本中提取的总适应度限制为容量，候选解获得的适应度正比于其分数相对于群体总分的占比，以此鼓励多样性 [7] 性能优势与实验结果 - M2N2首次将模型融合用于从零开始训练，并在性能与计算效率上优于所有当前的进化算法（如CMA-ES、GA、MAP-Elites） [6] - 实验1（进化MNIST分类器）：针对一个19,210个参数的两层前馈神经网络，M2N2在从零开始的测试准确率上有显著优势；从预训练模型起步时，切分点和吸引力机制对提升性能至关重要 [11] - 在多样性方面，M2N2的模型库很快覆盖了绝大多数训练样本（高训练覆盖率），并在训练过程中通过淘汰弱模型来维持一个优势互补的库 [13][15] - 实验2（LLM数学专家与智能体融合）：融合WizardMath-7B-V1.0与AgentEvol-7B模型，M2N2在数学基准GSM8k和网页购物基准WebShop上的平均得分最高，达到63.49 ± 0.63 [20] - 在LLM融合中，M2N2保持了高训练覆盖率，并在早期探索阶段熵值上升，随着低性能模型被移除，熵值逐步下降，而GA等方法则迅速收敛为单一解 [23][24] - 实验3（融合基于扩散的图像生成模型）：融合JSDXL、SDXL1.0、SDXL-DPO与Juggernaut-XL-v9等模型，M2N2融合模型在测试集上的NCS分数达到84.85，优于所有其他模型 [26] - M2N2融合模型成功结合了各初始模型的优势，生成了更逼真、与训练集更一致的照片，并展现出对日语和英语的良好理解能力，实现了双语能力的涌现 [27][29][31] 技术应用价值 - M2N2在模型融合过程中避免了模型微调中常见的“灾难性遗忘”问题 [8] - 该方法能够兼容针对不同目标训练的模型，并在无需原始训练数据的情况下保留模型能力 [9] - 通过避免梯度计算，M2N2降低了内存占用 [9] - 该方法能够扩展到大型预训练模型（如LLM和扩散模型），并在数学和网络购物等任务上表现显著优于其他方法 [8] - 模型融合的可行性依赖于模型间的相似程度，若微调模型与基座模型因大量分歧训练而显著偏离，融合会变得困难；未来定义模型兼容性度量可能提升融合成功率 [33]