3D场景生成技术综述 核心观点 - 南洋理工大学S-Lab系统梳理300+篇论文，将3D场景生成方法划分为四大技术范式：程序化生成、基于神经网络的3D表示生成、图像驱动生成、视频驱动生成 [2] - 领域自2021年起进入爆发期，主要驱动力为扩散模型、NeRF、3D Gaussians等新技术涌现 [4] - 当前技术面临生成能力不均衡、3D表征缺陷、数据瓶颈、评估标准缺失四大挑战 [16] - 未来发展方向聚焦高保真生成、物理约束引入、交互式场景、感知-生成一体化四大方向 [12][18] 技术路线分类 程序化生成 - 通过预定义规则/LLM先验自动构建复杂环境（如城市、地形），具备空间一致性优势 [8] - 细分方法包括基于规则生成（地形）、约束优化生成（室内）、LLM辅助生成（布局控制） [8] 神经网络3D表示生成 - 直接生成场景图/参数或3D表征（点云/NeRF/3D高斯），具备强三维理解能力 [8] 图像驱动生成 - 基于2D图像生成模型重建3D结构，包括整体生成（全景图）和迭代生成（图像序列） [9][14] 视频驱动生成 - 融合时空一致性，分为一阶段（端到端）和两阶段（时空分离控制）方法 [9][15] 性能评估维度 - 七大关键指标：真实感、多样性、视角一致性、语义一致性、效率、可控性、物理真实性 [7] - 不同方法在可控性/真实性/效率/一致性之间存在显著权衡关系 [7] 下游应用领域 - 覆盖3D场景编辑、人-场景交互、具身智能、机器人、自动驾驶等关键场景 [2] 未来技术突破方向 - 高保真生成需协调几何/纹理/光照/多视角一致性，提升材质建模与细节捕捉能力 [12] - 物理约束引入需结合可微分物理模拟器，保障物体移动/摆放符合真实规律 [18] - 交互式场景需实现动态响应能力，理解物体可用性/因果关系/多智能体逻辑 [18] - 感知-生成一体化需构建统一架构，双向增强场景理解与生成准确性 [18]

Google I/O 2025开发者大会与Gemini Diffusion - Google DeepMind推出采用扩散技术的语言模型Gemini Diffusion，提供更强控制力、创造力和文本生成速度[1] - Gemini Diffusion生成速度达到最快模型的五倍，采样速度高达每秒1479 token[2][8] - 该模型在多项基准测试中表现优异，如HumanEval(89.6%)、MBPP(76.0%)等，性能媲美更大规模的自回归模型[9] 扩散语言模型(dLLM)发展历程 - 早期探索包括斯坦福Diffusion-LM(2022)、上海AI实验室DiffuSeq(2022)和复旦大学DiffusionBERT(2022)[3] - 蚂蚁集团与人大团队推出首个8B参数扩散大模型LLaDA，性能比肩LLaMA3[4] - LLaDA成为dLLM研究基础模型，衍生出d1、LaViDa等后续模型[4][20] LLaDA模型技术特点 - 采用掩码扩散机制，通过前向加噪和反向去噪过程建模[14] - 预训练使用2.3T tokens，在MMLU(65.4%)、BBH(57.6%)等基准表现优异[19] - 1.5版本引入VRPO方法，在GSM8K(+4.7)、Math(+0.4)等任务取得进步[21][22] 扩散多模态LLM(dMLLM)进展 - 蚂蚁集团与人大推出LLaDA-V，集成视觉指令微调与掩码扩散机制[24] - 字节跳动开发MMaDA，兼具文本推理、多模态理解和文生图能力[31] - dMLLM正向蛋白质序列生成等更多模态扩展[33] 行业竞争格局 - 国内研究团队(蚂蚁、字节、人大等)在dLLM/dMLLM领域已跻身第一梯队[11] - 国际竞争者包括Google(Gemini Diffusion)、Meta(d1模型)等[6][8] - 初创公司Inception Labs推出商业级扩散模型Mercury[6] 技术发展趋势 - 扩散模型正从视觉生成扩展到语言理解和多模态交互[35] - 研究热点包括模型加速(Fast-dLLM)、推理增强(LLaDOU)等方向[6] - 量子计算与扩散模型结合(qdLLM)等创新方向正在探索[35]

研究背景与核心创新 - 研究结合状态空间模型(SSM)、扩散模型和世界模型等前沿技术，开发出新型视频世界模型，实现长期记忆与空间一致性的平衡 [1][9] - 传统视频扩散模型受限于注意力机制，难以维持长期一致性，导致环境模拟失真 [3][4][6] - 创新点在于采用Mamba的逐块扫描方案，配合局部注意力机制，显著提升长期记忆能力同时保持计算效率 [9][15][16] 技术架构设计 - 采用空间主/时间次的token排序方式，确保因果约束并防止未来信息泄露 [11] - 提出逐块重新排序方法：将token序列分解为(b_h,b_w,T)块，通过调整块大小平衡时间相关性与空间一致性 [13][15] - 引入帧局部注意力模块，采用窗口大小为k的因果注意力机制增强短期一致性 [16] - 动作条件处理：通过MLP处理连续动作值，直接学习离散动作嵌入实现交互控制 [17] 训练与推理优化 - 改进训练方案：保持随机长度前缀完全无噪声，强制模型学习长期依赖性 [18] - 推理阶段仅需维护前k帧KV缓存和块SSM状态，实现恒定内存占用和生成速度 [21] - 训练成本随上下文长度线性增长，显著优于传统二次复杂度模型 [39] 实验性能表现 Memory Maze数据集 - 检索任务(400帧)：SSIM达0.898，显著优于Mamba2(0.747)和因果Transformer(0.829) [25] - 推理任务(224帧)：SSIM达0.855，优于所有次二次模型 [26] - 长期记忆能力与全上下文因果Transformer(SSIM 0.914)接近 [25][27] TECO Minecraft数据集 - 推理任务(50帧)：SSIM达0.454，优于DFoT(0.450)和25帧上下文因果Transformer(0.417) [33] - 能准确预测已探索区域，而有限上下文模型失效 [36] 效率优势 - 训练时间线性扩展，推理保持恒定内存和计算成本 [39] - 单次前向传递速度显著快于全注意力机制 [39]

模型技术 - LaViDa是一种基于扩散模型的视觉-语言模型(VLM)，能够联合处理视觉和文本信息，继承了扩散语言模型高速且可控的优点[1] - 不同于流行的自回归VLM，LaViDa将文本生成视为在离散token上的扩散过程，通过前向过程将文本token序列退化为掩码token序列，再通过反向过程转换为有意义的文本[3] - 扩散模型相比自回归模型具有多项优势：可通过调整扩散步骤数量灵活控制速度与质量平衡，能够建模双向上下文，更适合文本填空等任务[4] 模型架构 - LaViDa由视觉编码器和扩散语言模型组成，通过MLP投射网络连接[10] - 视觉编码器使用SigLIP-400M，将输入图像调整为多个视图并独立编码，产生3645个嵌入，通过平均池化减少到980个以提高训练效率[12][13] - 扩散语言模型采用多层Transformer架构，注意力掩码为非因果式，使用扩散语言建模目标而非下一个token预测[13] 训练方法 - 采用两阶段训练流程：预训练阶段仅更新投射算子使视觉嵌入与DLM隐空间对齐，微调阶段对所有组件进行端到端联合训练以实现指令遵循[19] - 通过第三阶段训练得到专用模型：使用1.92万个CoT样本蒸馏得到推理模型LaViDa-Reason，在MathVision等基准上相对提升达18%[25][27] - 使用阶段2数据20%子集进行额外训练得到LaViDa-FIM，支持长度可变的文本填空，在约束诗歌生成任务中实现100%约束满足率[30][32] 性能表现 - 在一般视觉-语言理解任务中，LaViDa-L在MMMU上取得43.3分，优于所有同类模型[22] - 在科学任务中，LaViDa在ScienceQA上取得81.4和80.2分，在AI2D上与Open-Llava-Next表现相当[23] - 在OCR任务中表现尚可但落后于最新自回归模型，主要因平均池化导致细粒度空间信息丢失[23] - 通过控制离散化步数K实现速度与质量权衡：NFE=75%和50%时速度比自回归基线更快且质量更好，NFE=25%时速度明显更快但性能略逊[35]

核心观点 - 中国人民大学高瓴人工智能学院与蚂蚁集团合作推出LLaDA-V，这是首个纯扩散多模态大语言模型（MLLM），挑战了自回归模型在多模态领域的主导地位 [1] - LLaDA-V基于前期发布的LLaDA扩散模型拓展至多模态，采用视觉编码器（SigLIP 2）和MLP连接器实现多模态对齐，全程采用离散扩散机制 [2] - 模型在11项多模态任务中超越自回归基线LLaMA3-V，并在MMMU等多学科知识基准上展现更强数据可扩展性 [5] - 纯扩散架构性能达到SOTA，显著缩小与顶尖自回归模型Qwen2-VL的差距（MMStar基准60.1 vs 60.7） [8][10] 技术架构 - 采用"视觉编码器+MLP投影器+语言模型"经典架构，视觉特征通过SigLIP 2提取并映射至LLaDA嵌入空间 [15] - 创新性使用双向注意力机制，消融实验证明其优于对话因果注意力机制 [15] - 训练时仅对回复部分随机掩码，损失函数聚焦掩码区域；推理采用反向去噪过程，结合低置信度重掩码策略提升生成质量 [15] 性能表现 - 多模态理解任务中超越混合架构（如MetaMorph、Show-o）和纯扩散模型，达到当前最佳性能 [8] - 尽管LLaDA-8B纯文本能力弱于LLaMA3-8B，但LLaDA-V在多模态任务中反超，证明扩散架构的独特优势 [5] - 在MMMU等需要复杂推理的基准上，数据可扩展性显著优于自回归模型 [5] 应用场景 - 成功实现复杂视觉场景理解，如精准描述阿尔卑斯山景的层次感与空间关系（绿色小路、行人、教堂、薄雾群山等细节） [13] - 支持多轮多模态对话，通过掩码扩散机制生成连贯回复 [15] 开源计划 - 团队预计近期开源训练推理代码及模型权重 [3] - 项目已发布论文（arXiv:2505.16933）和代码仓库（GitHub/ML-GSAI/LLaDA-V） [6]

技术突破 - Google DeepMind推出Gemini Diffusion，将图像生成常用的"扩散技术"引入语言模型，通过逐步优化噪声来学习生成输出，不同于传统自回归模型[4][9] - Gemini Diffusion生成速度达2000token/秒，12秒可生成1万tokens，比Gemini 2.0 Flash-Lite更快[1][7][11] - 演示过程中需要放慢视频速度才能看清生成过程，显示其极快的生成速度[3] 性能优势 - 基准测试显示Gemini Diffusion表现可与更大的Gemini 2.0 Flash-Lite相媲美，在多项测试中表现接近或更好[7][8] - Code测试：30.9% vs 28.5%[8] - BigCodeBench：56.8% vs 56.0%[8] - HumanEval：76.0% vs 75.8%[8] - 能够一次生成整个标记块，比自回归模型做出更连贯的响应[14] - 在迭代细化中能够纠正生成过程中的错误，获得更一致的输出[10][15] 技术特点 - 采用并行或迭代式去噪实现数据生成，可以进行非因果推理[16][17] - 解决了自回归模型难以处理的数学问题，如"(√(81) * (2/3))^2 + (15 - 3) / (2^2))"等于多少的问题[17] - 在代码生成任务中表现良好，包括token化、预填充、安全过滤器等开销情况下仍保持高速生成[11] 行业影响 - 表明自回归不是LLM的唯一路径，人大高瓴人工智能研究院、蚂蚁也提出了类似研究LLaDA[19] - 语言模型逐步引入扩散技术，未来可能出现更多混合模型[20]

研究团队与背景 - 研究团队由CMU博士生耿正阳作为第一作者，何恺明的学生邓明扬、白行健参与[2] - 团队来自MIT和CMU，耿正阳导师是Zico Kolter，曾在Meta Reality Labs实习[21][22] - 邓明扬本科就读MIT数学和计算机科学，研究方向为生成式基础模型[23] - 白行健拥有牛津大学数学与计算机科学学位，研究方向为物理启发式生成模型[23] 技术创新与模型框架 - 提出MeanFlow单步生成框架，引入平均速度概念替代传统瞬时速度[5][7] - 平均速度定义为位移与时间间隔的比率，与瞬时速度存在明确数学联系[7][9] - 模型完全从头训练，无需预训练、蒸馏或课程学习[3][10] - 通过jvp计算实现单次后向传递，训练开销低于总时间20%[11] 性能表现与实验结果 - 在256×256 ImageNet上实现3.43的FID值，相对优势达50%-70%[3][13] - 1-NFE生成时FID显著优于流匹配方法(328.91→61.06)[15] - 模型规模扩展性良好，XL版本参数676M时FID达3.43[16][19] - 2-NFE生成时FID进一步降至2.20，缩小与多步模型的差距[19] 行业对比与定位 - 1-NFE性能超越BigGAN(6.95)、接近GigaGAN(3.45)[19] - 优于多数扩散模型如ADM(10.94)、LDM-4-G(3.60)[19] - 与当前SOTA模型DiT-XL/2(2.27)、SiT-XL/2(2.06)仍存差距[19] - 在自回归模型对比中优于MaskGIT(6.18)[19] 理论意义与应用前景 - 研究涉及物理领域多尺度模拟问题，可应用于空间/时间尺度建模[20] - 方法为生成建模、动力系统研究搭建桥梁[20] - 技术路线可能启发计算机图形学、科学计算等领域[20]

文章核心观点 - 文章详细解释了Diffusion模型在自动驾驶轨迹生成中的应用，特别是理想汽车VLA（Vision-Language-Action）系统的技术架构和创新点 [1][4][6] - 理想汽车的VLA系统通过Diffusion模型生成驾驶轨迹，相比VLM（Vision-Language-Model）系统具有更强的拟人感和决策能力 [1][2][4] - TransDiffuser模型通过多模态感知信息融合和去相关优化机制，显著提升了轨迹生成的多样性和质量 [6][11][12] 什么是Diffusion - Diffusion是一种通过加噪和去噪过程学习数据分布的生成模型，核心思想类似于逆向拼图 [4] - 相比GAN和VAE等其他生成模型，Diffusion在生成质量和稳定性上具有优势 [4] - 理想汽车采用ODE采样器将Diffusion生成步骤从几十步减少到2-3步，大幅提升效率 [5] 理想VLA系统的技术特点 - VLA是一个具备快慢思考能力的单一系统，直接输出action token并通过Diffusion解码为轨迹 [4] - 系统能同时生成自车轨迹和预测其他交通参与者轨迹，提升复杂环境博弈能力 [5] - 当前系统输出轨迹而非直接控制信号，但未来可能演进到直接输出油门/方向盘信号 [3] TransDiffuser架构细节 - 模型采用编码器-解码器结构，融合图像/LiDAR/运动状态等多模态信息 [6][7] - 场景编码器处理前视图像（8视角）和LiDAR数据（5传感器），输出BEV/图像/点云特征 [7][10] - 去噪解码器基于DDPM算法，通过10步迭代生成覆盖4秒的8个waypoints轨迹 [9][11] - 在NAVSIM数据集上PDMS指标达到94.85，优于Hydra-MDP++等现有方法 [11] 关键创新点 - 无锚点轨迹生成：不依赖预设轨迹或词汇表，直接从感知数据生成轨迹 [11] - 多模态去相关优化：解决模式崩溃问题，提升轨迹多样性且计算开销低 [11][12] - 采用256批量大小分布在4个NVIDIA H20 GPU上进行训练 [10] 局限性与未来方向 - 模型微调存在困难，特别是感知编码器部分 [13] - 未来可能结合强化学习，并参考OpenVLA等先进模型架构 [13] - 直接输出控制信号（油门/方向盘）是更难的挑战，短期内难以实现 [3]

LightLab 技术概述 - Google推出LightLab项目，实现从单张图像对光源的细粒度参数化控制，包括改变可见光源的强度和颜色、环境光的强度，以及插入虚拟光源[1][2] - 光线在图像或影视创作中至关重要，决定画面焦点、景深、色彩和情绪，电影中光线能塑造角色情绪、烘托氛围、引导观众目光和揭示人物内心世界[3][4] - 传统光照编辑技术存在局限性，要么需要多张照片，要么无法精确控制变化参数[6] 技术实现 - 研究团队通过特殊构建的数据集微调扩散模型，使其学会精确控制图像中的光照[7] - 训练数据集结合了600对真实照片和合成渲染图像，利用光的线性特性分离目标光源和环境光，最终数据集包含约36K张图像[10][22][27] - 模型架构与Stable Diffusion-XL相同，在1024×1024分辨率下训练45,000步，使用64个v4 TPU耗时约12小时[28] 功能特点 - 提供丰富的光照控制功能，通过移动滑块调整每个光源的强度和颜色[12] - 可实现光强度参数化控制，不同强度下光现象保持一致[38] - 支持根据用户输入创建彩色照明，使用彩色滑块调整光源颜色[41] - 能够插入虚拟点光源到场景中[44] - 分离目标光源与环境光，控制难以物理调节的光线（如通过窗户的光线）[45] 技术优势 - 在成对图像评估中，混合真实和合成数据的模型表现最佳，PSNR达23.2，SSIM达0.818[31] - 显著优于先前方法（RGB↔X、IC-Light等），在用户研究中获胜率最高达89.3%[33] - 能够生成物理上合理的光照效果，如自遮挡和阴影与光源位置角度匹配[46] 应用场景 - 主要应用于照片后捕获的光源控制[35] - 可实现复杂光照效果创作，包括间接照明、阴影和反射等[10] - 适用于需要精确控制光照的各种图像和影视创作场景[12]

在生成式 AI 领域，扩散模型（Diffusion Models）已成为图像生成任务的主流架构。然而，传统扩散模型在处理不同噪声水平和条件输入时采用统一处理方式，未 能充分利用扩散过程的异构特性，导致计算效率低下，近期，可灵团队推出 DiffMoE（Dynamic Token Selection for Scalable Diffusion Transformers）， 通过创新的 动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。 本文由清华大学和快手可灵团队共同完成。第一作者是清华大学智能视觉实验室在读本科生史明磊。 核心突破：动态token选择与全局上下文感知 论文标题：DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers 项目主页： https://shiml20.github.io/DiffMoE/ 论文地址： https://arxiv.org/abs/2503.14487 代码： https://github.com/KwaiVGI/DiffMoE 性能提升：以少胜多的参数高效模型 在 ...