蚂蚁、中国人民大学发布行业首个原生MoE扩散语言模型
第一财经·2025-09-12 03:08
技术研发突破 - 公司与中国人民大学联合研发原生MoE架构扩散语言模型LLaDA-MoE [1] - 模型在约20T数据上完成从零训练的MoE架构扩散语言模型开发 [1] - 验证工业级大规模训练的扩展性和稳定性 [1] 开源计划 - 该模型将在近期完全开源 [1]
技术研发突破 - 公司与中国人民大学联合研发原生MoE架构扩散语言模型LLaDA-MoE [1] - 模型在约20T数据上完成从零训练的MoE架构扩散语言模型开发 [1] - 验证工业级大规模训练的扩展性和稳定性 [1] 开源计划 - 该模型将在近期完全开源 [1]