文章核心观点 - 文章介绍了宁波东方理工大学金鑫教授团队在空间智能与世界模型领域的研究进展，其核心思路是采用“混合”路径构建世界模型，即结合明确的物理规则知识与数据驱动方法，并率先应用于工业制造等产业场景以实现技术验证与落地 [3][4][5] 空间智能（世界模型）的起源与概念 - 空间智能概念在SLAM技术时期已被讨论，2024年由斯坦福大学李飞飞教授拓展至与物理世界的交互、感知和理解 [8] - 世界模型技术近期取得显著进步，例如李飞飞团队发布的Marble 3D世界模型和谷歌DeepMind发布的Genie 3，后者在写实性、一致性及物理正确性上达到更高水平 [9] - 世界模型有望成为继数据增强、数据合成之后，为人工智能训练提供高效路径的新选择 [9] 空间智能的技术框架 - 团队将空间智能或世界模型划分为三个部分：空间感知（基础3D建模与物理定律嵌入）、空间交互（支持智能体与环境及多智能体间互动）、空间的理解泛化与生成（基于充分理解衍生生成能力） [10][12][13][14] - 整体工作细分为两个方向：空间构建（搭建仿真环境）与智能体训练（在环境中训练AI），两者可形成不断优化迭代的闭环 [15][18] 核心研究成果：自动驾驶场景生成 - **UniScene**：团队提出的专注于驾驶场景生成的工作，已被CVPR接收，后续有V2等版本 [20] - **生成动机**：由于合规、隐私及车队规模限制，真实数据难以覆盖足够多的“corner case”危险场景，需通过生成式方法合成逼真有价值的场景数据 [22] - **技术路径**：采用以Occupancy（占据栅格）为中心的生成方案，因其蕴含丰富语义与必要几何信息，是连接场景理解与建模的有效“桥梁” [27][32] - **生成流程**：以简单的鸟瞰图布局为输入，首先生成语义Occupancy，再以此为中心分别衍生生成激光雷达点云和多视角视频，是一个两阶段的解耦过程 [34] - **进展与产业合作**：UniScene V2版本在NuPlan数据集上扩展了数据量，新增深度图和语义分割模态，并能根据车辆传感器位置生成对应视角数据 [37][40]；该版本在GitHub上线不到一周获得数百个star（后超过2000个） [41]；正与理想汽车合作，测试生成器对带有镜头畸变数据的泛化能力，以低成本支持其自动驾驶算法迭代 [41] 核心研究成果：规划与机器人场景生成 - **OmniNWM**：团队引入闭环的“规划-生成”串联机制，将规划的轨迹作为条件输入，预测执行该轨迹后未来场景的变化，可称为“万能的驾驶导航世界模型” [42][44] - **模型能力**：需同时预测全景RGB视频、语义分割、深度图、3D结构及未来规划轨迹，重点在于状态、动作及闭环奖励三个维度的扩展 [45][50] - **技术迁移**：将相同方法论迁移至机器人领域，应用于具身智能场景进行数据合成，能以Occupancy为桥梁生成机器人视频，处理软体、绳体等物体的数据合成，并与主流仿真器兼容实现批量并行生成 [45] 核心研究成果：机器人数据与训练模型 - **InterVLA数据集**：为补充机器人第一人称视角数据缺失，团队构建了包含约3.9千个序列的新基准数据集，包含第一人称视角视频、第三人称视角视频及动作捕捉数据 [46][49][57] - **DreamVLA模型**：针对“抓放”等任务，提出将大语言模型中的“思维链”思想引入视觉-语言-动作模型，让模型在输出最终动作前，先输出“世界嵌入”或“世界知识”等中间产物，形成多模态推理链条 [63][71][73] - **模型效果**：相比于Open-VLA等方案，DreamVLA泛化性更好，并能实现更快、更高效的收敛 [75] - **方位基础模型**：通过模块化方案赋予机器人“方位感知”能力，使其能像人一样从合适方位抓取物体（如抓瓶身而非瓶盖） [76][80] - **解耦世界模型**：将“解耦学习”嵌入世界模型，提取对任务至关重要的环境关键因子，排除非任务相关干扰，从而提升训练效率与模型鲁棒性 [81][83] 研究背景与团队发展 - 研究重点自2024年初开始聚焦世界模型与空间智能，标志着从处理2D视觉信号转向理解3D、4D等高维信号，旨在让AI获得对物理空间的认知能力 [85] - 团队在2025年NeurIPS会议上有两篇合作论文受到广泛关注 [85] - 团队学生培养取得初步成效，2024年有一位博士获得国家奖学金，2025年增加至两位 [91] - 招生最看重学生的自驱力与对科研的热情，并通过实习期进行双向考核 [91][92] 产业应用与场景选择 - 基于宁波强大的制造业背景（拥有104家国家级制造业单项冠军企业，数量全国第一），团队优先选择工业场景构建“工厂世界模型”，与奥克斯空调、均胜电子、吉利汽车等当地龙头企业紧密合作 [93] - 与专注于探索底层原理的知名团队（如LeCun团队、李飞飞团队）不同，该团队采取“两条腿走路”策略，既探索前沿技术，又聚焦有特色的应用场景 [94] 世界模型的构建方法与挑战 - **构建数据**：分为静态数据（物体级静态资产）和动态数据（RGB视频、激光点云、动作捕捉数据），两者均为必需 [95][96] - **构建步骤**：采用自上而下的技术路径，先定义物理规则，再叠加动态数据，最后以静态数据打底，涉及数据采集、处理、合成与模型训练 [97] - **兴起原因**：AIGC技术使得通过生成方式快速创建物理正确、视觉真实的场景成为可能，在效率与成本上相比传统手工建模有量级提升 [97] - **最大挑战**：成本最高的部分是前期静态资产和动态场景数据的创建与采集；技术难度最大的在于将软体、弹性体、流体等第一性原理和物理规则有效嵌入模型中 [98] 技术路径讨论与行业观点 - **关于Sora等视频生成模型**：认为其是否为世界模型取决于应用场景，在游戏、娱乐等内容生成领域有价值，但在需要精细空间感知与动作策略的机器人或自动驾驶领域存在局限性 [99] - **载体差异**：当前趋势是采用数据驱动的端到端模式（如VLA模型），倾向于为不同形态的智能体（汽车、机械臂）构建统一的世界模型服务，避免重复造轮子 [99][100] - **技术路径选择**：团队倾向于“混合”路径，结合端到端黑盒方法的能力与显性、可解释的组件 [101] - **学术界价值**：面对企业界强大的大模型路径，不必焦虑于快速商业变现，技术持续发展总需要新的突破，许多奠基性技术最初源于高校 [102] - **物理规律掌握**：关键在于构建高度物理真实的世界模型本身，若能真实还原材质物理属性，仿真环境中训练出的智能体行为结果会与真实世界一致 [102][103] - **实现方法**：采用知识库与数据库结合的混合路径，对明确规则（如碰撞检测、摩擦力）进行知识嵌入，对复杂现象（如流体运动）则采用数据驱动方法 [104][105]

DreamVLA模型概述 - 提出一种新型视觉-语言-动作(VLA)模型DreamVLA 通过预测环境动态、空间和语义信息提升机器人动作决策精度 [1] - 采用"感知-预测-动作"循环框架 将动作规划视为逆动力学问题 通过预测未来环境状态推导动作 [6][7] - 在CALVIN ABC-D基准测试中平均任务完成长度达4.44 模拟环境性能比前代方法高3.5% 现实世界任务成功率76.7% [25] 技术架构 输入处理 - 多模态输入编码：语言指令(CLIP ViT-B/32文本编码器)、视觉图像(MAE预训练ViT-B模型处理双路摄像头)、机器人状态(可训练编码器) [10][14] - 采用perceiver resampler压缩视觉特征 将196个局部特征向量和全局[CLS] token压缩至可管理规模 [14] 世界知识预测 - 动态区域预测：使用CoTracker光流跟踪算法 通过速度阈值筛选生成二值化动态区域掩码 聚焦移动物体 [12][15] - 深度预测：有深度传感器时直接监督训练 无传感器时采用DepthAnything自监督 输出尺度归一化深度图 [13][16] - 语义预测：并行使用DINOv2(语义向量)和SAM(分割掩码) 通过轻量级ViT解码器输出语义特征 [18][22] 动作生成 - 采用扩散Transformer(DiT-B)作为动作解码器 从高斯噪声逐步生成7维动作向量(6维空间位移+1维抓手状态) [23] - 引入块状结构化注意力机制 结合因果/非因果注意力确保多步动作连贯性 [19] - 使用查询token引导未来世界知识预测 与输入序列拼接后生成世界嵌入 [20] 性能验证 - 消融实验显示动态区域预测贡献最大 深度/语义预测结合动态区域可进一步提升性能 [31] - 结构化注意力机制比普通因果注意力更稳定 分开查询优于共享查询 [31] - 使用DROID数据集(7.6万条轨迹)预训练 仅需100个任务特定演示微调即可展现强泛化能力 [25] 应用前景 - 框架兼容现有VLA模型 特别适合助手机器人和导航场景 [27] - 动态区域掩码能有效抑制背景干扰 深度地图辅助避障 语义特征提升物体交互精度 [17][22]

研究背景与动机 - 视觉-语言-动作（VLA）模型在机器人操作领域展现出潜力，但现有方法存在信息冗余、缺乏动态和空间知识等问题，难以形成闭环的感知-预测-动作循环 [3] - 人类行动前会形成多模态推理链，而现有VLA模型直接从观测映射到动作，缺乏前瞻推理能力 [3] - 部分方法尝试生成未来帧或关键点辅助动作预测，但仍存在像素冗余、3D空间信息缺失和高层语义不足等局限 [3] 模型设计核心思路 - DreamVLA通过预测动态区域、深度和语义三类核心世界知识，构建更有效的感知-预测-动作循环 [4][5] - 动态区域预测利用光流模型识别任务关键运动区域，避免冗余帧重建，优化目标为最大化对数似然的证据下界 [4] - 深度感知预测采用深度估计算法生成深度图，提供3D空间上下文，通过尺度归一化均方误差训练 [5] - 高层基础特征整合DINOv2和SAM等视觉基础模型的语义特征，通过InfoNCE损失进行对比语义预测 [5] 结构注意力与动作生成 - 块结构注意力机制将查询分解为动态、深度、语义三个子查询，屏蔽子查询间相互注意力，避免跨类型知识泄露 [6] - 采用扩散Transformer解码器从共享潜在特征中分离动作表示，通过迭代自注意力和去噪过程生成动作序列 [8] 实验结果与分析 - 在CALVIN模拟基准上，DreamVLA平均任务长度达4.44，超过RoboVLM（4.25）和Seer（4.28）等方法 [9][10] - 真实世界实验中，DreamVLA在Franka Panda机械臂任务中平均成功率达76.7%，显著高于Diffusion Policy（50.8%）和Octo-Base（45.0%） [10] - 消融实验显示动态区域预测单独使用时增益最大，深度和语义线索增益较小但接近 [11] - 预测未来知识的性能（平均长度4.44）显著优于仅重建当前信息（4.14） [12] - 块结构注意力使平均任务长度从3.75提升至4.44，证明其在抑制跨信号干扰中的有效性 [13] 核心贡献与局限 - 将VLA模型重构为感知-预测-动作模型，通过预测动态、空间和高层语义信息提供前瞻线索 [16] - 提出块结构注意力机制结合扩散Transformer解码器，实现连贯的多步动作推理 [16] - 当前主要适用于平行夹爪操作，依赖RGB数据，场景几何和材料多样性有限 [15]