刚刚，Meta FAIR推出了代码世界模型！ CWM（Code World Model），一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型 这是全球首个将世界模型系统性引入代码生成的语言模型。 与现有代码大模型相比，CWM最与众不同的一点在于，它不仅能生成代码、理解语义。 更关键的是，它"懂得"代码如何执行，能模拟代码运行过程中变量的状态变化与环境反馈，从而推动代码理解、调试乃至规划的整体能力提升。 也就是说，它具备接近人类程序员的思考能力。 在多个代码与推理任务上，CWM均有出色表现，譬如其在SWE-bench Verified得分65.8%，领先所有开源同规模模型，已接近GPT-4级别。 更重要的是，Meta FAIR这次开源了模型代码、训练细节以及多个阶段的权重检查点，诚意十足。 让大模型"懂动态执行" CWM的诞生，直击当前大模型在代码生成中的一大痛点： 尽管现有大模型已经具备写代码的能力，但代码执行效果并不稳定，生成内容难以调试、不可执行，甚至存在隐藏逻辑错误。 FAIR团队认为，其根源在于大模型只是把代码当作文本来预测。 它不理解代码会如何运行， ...