衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 刚刚，Meta FAIR推出了 代码世界模型 ！ CWM （Code World Model） ，一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型 这是全球首个将世界模型系统性引入代码生成的语言模型。 与现有代码大模型相比，CWM最与众不同的一点在于，它不仅能生成代码、理解语义。 更关键的是，它 "懂得"代码如何执行 ，能模拟代码运行过程中变量的状态变化与环境反馈，从而推动代码理解、调试乃至规划的整体能力提 升。 也就是说，它具备接近人类程序员的思考能力。 在多个代码与推理任务上，CWM均有出色表现，譬如其在SWE-bench Verified得分65.8%，领先所有开源同规模模型，已接近GPT-4级别。 更重要的是，Meta FAIR这次开源了模型代码、训练细节以及多个阶段的权重检查点，诚意十足。 有人给LeCun留言问： "你不是一直认为语言模型只是AI道路上的一个支线 （LLMs are an off ramp） ，怎么又推出了以语言模型为基础的世界模型？" LeCun轻松回复称： 是的，不过咱现在 ...