模型发布与核心特点 - Meta发布Code World Model（CWM），参数量为32B，支持最长131k token上下文，采用开放权重策略[1] - 模型核心目标是将"世界模型"思想引入代码生成与推理领域，使模型不仅能生成代码，还能模拟执行过程、推理程序状态并自我修复Bug[1][2] - 训练数据规模庞大：预训练阶段使用约8T tokens（代码占比30%），中期训练引入5T tokens世界建模数据，后训练阶段SFT使用100B tokens、RL使用172B tokens[3][4] 技术实现与数据构建 - 采用局部+全局交替机制和长序列稳定化技术处理超长上下文[3] - 世界模型能力依赖两类数据：Python执行轨迹（序列化中间栈帧与变量状态）和Agent环境交互轨迹（从10.2万张镜像和3.15万个仓库收集300万条轨迹）[6][8][9] - 后训练阶段引入工程优化：SFT阶段使用"推理token"区分直答与推理，RL阶段改用标签并采用自举策略回流高质量数据[9] 性能表现与基准测试 - 在SWE-bench Verified测试中达到65.8% pass@1（启用多候选投票）和53.9%（未启用），接近GPT-4水平[10][12] - 在LiveCodeBench、Math-500和AIME 2024基准分别取得68.6%、96.6%和76.0%的亮眼成绩[10] - 模型专精于代码修复与数学推理，但在多语言和编辑格式场景存在局限，且Agent训练可能引入格式化噪声[12] 行业反响与开源意义 - Meta开源中期训练、SFT和RL阶段的权重检查点，为学术与工程复现提供重要支持[2][15] - 业界普遍认可其研究价值，但强调需与实际开发环境集成测试，并关注32B参数模型的计算资源需求[15] - 模型被视为推动代码生成从静态学习转向动态执行模拟的关键突破，可能重塑软件开发范式[2][13]