文章核心观点 文章通过港中深助理教授韩晓光的视角，探讨了在视频生成模型（如Sora）兴起的背景下，三维生成与世界模型构建的必要性及其不可替代的价值 核心观点认为，尽管端到端的“炼丹”式AI在性能上取得突破，但为了满足人类对可解释性、安全感和精细可控的需求，尤其是在构建可交互的虚拟世界、发展具身智能以及实现数字到实体制造等领域，三维生成与显式的、结构化的建模方法是不可或缺的 [2][3][4][58][61][63] 三维生成发展历程与现状 - 三维生成在深度学习兴起前就已存在，早期主要聚焦于“类别限定”的生成，即为椅子、车辆等特定类别分别训练模型 [9] - “开放世界”的三维生成大约从2023年的Dreamfusion工作开始兴起，实现了从文本直接生成3D模型，但基于优化方法，生成速度较慢，通常需要半小时到一小时 [11][12][14] - 当前进入大模型时代，例如Adobe的Large Reconstruction Model和上海科大的Clay工作提出了“原生模型”概念，商业应用如腾讯混元3D的3.0版本已能实现从单张图像生成高质量三维模型 [16] 三维生成的发展趋势 - 趋势一：更精细，追求几何层面的极致细节表现，例如数美万物的Spark 3D [19] - 趋势二：更结构化，生成的三维模型需要能被拆解成独立部件以便编辑，例如混元3D的“X-Part”工作 [19] - 趋势三：更对齐，解决生成模型与输入图像在细节上不对应的问题，例如输入图像栅栏有5条横杠而生成模型变成6条的问题 [20] 视频生成兴起对三维生成的冲击与反思 - 视频生成技术（如Sora）的出现对三维内容创作领域造成冲击，因为它能用文本指令直接输出视频，跳过了传统三维建模、绑定、渲染等复杂流程 [24][28] - 视频生成当前存在核心局限：物理模拟不够真实、3D空间不一致、内容可控性不足（如难以精细修改视频中物体的特定属性） [29][30] - 尽管Sora2和谷歌Veo3已展示出初步的可控能力（如控制视角变化），但真正的危机感促使行业思考视频生成模型是否真的不需要3D [34][37] 视频模型与三维结合的潜在路径 - 路径一：完全不用3D，采用纯2D的端到端范式，依赖海量视频数据训练 [38] - 路径二：利用3D仿真作为“世界模拟器”，先根据条件生成可控但不真实的CG视频，再用神经网络将其转化为真实视频 [39] - 路径三：将3D信息作为控制信号输入，例如基于三维重建的场景模型来生成空间一致的长视频，以解决“长程记忆”问题 [38][39] - 路径四：用3D合成数据辅助训练，利用3D仿真批量生成可控的、带标注的视频数据，以增强端到端视频模型的训练 [39] 世界模型的分类与三维的必要性 - 世界模型的核心是对真实世界进行数字化，以计算方式理解和表达规律，并用于预测 [41] - 第一类：服务于“人类共同体”的宏观世界模型，如气候模拟、社会系统推演 [43] - 第二类：服务于“个人”的体验与探索模型，核心是可交互性，需要数字化物理与交互规律以构建沉浸式虚拟世界 [43] - 第三类：给机器用的世界模型，如用于自动驾驶或具身智能机器人，需要能根据动作预测环境变化 [44] - 为实现可交互的世界模型（如VR体验需要触觉反馈），3D是必要的 [45] 具身智能与三维生成的关系 - 发展具身智能的主流方法是“向人类学习”，这需要首先对人类与物体的交互过程进行精确的、动态的数字化捕捉与还原，3D乃至4D的还原是必要基础 [48] - 为了让机器人安全高效地探索和学习，需要创造可交互的三维仿真环境，因此具身智能同样离不开3D [48] 从数字到实体的制造需求 - 在三维打印、智能制造、CAD模型生成等领域，实现从虚拟设计到实体制造的个性化定制，3D是绝对的基础，例如牙齿生成项目就是为了制造精确的牙齿模型 [50][52] 技术路线之争：显式与隐式 - 隐式（数据驱动）路径：构建端到端神经网络，依赖“潜变量”编码所有信息，是典型的“黑箱”逻辑 [56] - 显式（模型驱动）路径：显式地重建三维模型，并基于明确的几何与物理公式进行计算和判断，依赖对世界的明确建模 [57] - 可解释性与安全感：显式的、可视化的3D/4D信息是人类能够直观理解和信任的维度，能带来安全感，而高维的“潜变量”则让人难以理解其运作原理 [57][58][59] - 当前AI时代过分追求性能而可解释性不足，实现可解释性需要3D作为人类能够直观理解的基石 [61][63]