多实例图像生成（MIG）领域的技术瓶颈 - 当前多实例图像生成领域面临核心挑战：难以同时实现对多个对象的**空间布局控制**和**身份特征的良好保持**[2] - 主流方法存在明显缺陷：依赖文本和布局引导的模型难以实现高度实例定制化，且存在实例遗漏、属性泄露问题；而主体驱动方法在主体数量增加时，会出现严重的身份混淆和细节丢失[2] ContextGen框架的核心创新 - 浙江大学ReLER团队发布**ContextGen**，这是一个基于Diffusion Transformer的新型框架，旨在通过上下文学习可靠完成图像引导的多实例生成任务[5] - 该框架提出全新**上下文生成范式**，通过整合布局图像和多张参考图像，将布局控制与身份保持的挑战转化为统一的上下文建模问题[6] - 框架采用**双重核心机制**：上下文布局锚定聚焦全局上下文引导以提供精确布局控制；实例上下文对齐聚焦细粒度身份注入以保障多个实例的身份一致性[7][8][10][12] - 框架采用**层次化的双重注意力策略**，让模型兼具宏观布局控制和精细实例级身份保持，并采用增强的位置索引策略系统区分多图像关系[12] 配套数据集与训练优化 - 团队推出**IMIG-100K数据集**，这是首个为图像引导多实例生成任务设计的大规模、具备不同难度层级、提供详细布局和身份标注的合成数据集[14] - 在训练中引入**基于偏好优化的强化学习阶段**，以解决监督微调导致的模型过度参考布局图像、缺乏多样性和灵活性的问题[17] 性能表现与基准测试 - 在LAMICBench++基准测试中，ContextGen超越所有开源模型，**平均得分提升+1.3%**，在身份一致性上比肩闭源商业巨头[21] - 具体数据：在Fewer Subjects场景下，模型平均得分66.78；在More Subjects场景下，平均得分63.21；总体平均得分64.66，与GPT-4o的63.71和Nano Banana的64.11相当[22] - 在COCO-MIG基准上，ContextGen在**实例级成功率提升+3.3%**，**空间准确性提升+5.9%**[25] - 具体数据：在COCO-MIG上，实例级成功率65.12，空间准确性69.72；在LayoutSAM-Eval中，颜色正确率87.44，材质正确率89.26，形状正确率88.36[26] 应用与未来展望 - 团队提供了简单易用的**前端交互界面**，支持用户上传参考图像、以文本添加素材、通过拖拽设计布局来生成多实例图像[32] - 未来计划进一步优化模型架构以提升生成效率，并探索更多样化的用户交互方式以满足更广泛的应用需求[36]

点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 导航信息、强化学习、扩散模型、自回归、时空联合规划兜底是当下端到端落地中最重要的技术栈。 近期和业内一位招聘朋友聊了聊，他们反馈 头部玩家已经验 证了端到端走的通，其他车企也开始铺 人力和资源跟进。但候选人往往只懂一部分，具体的量产经验如导航信息的引入、强化学习调优、轨迹的建模及优化都有很 多门道，都是实际的落地痛点。 为此我们花了三个月的时间设计了端到端量产进阶课程，七个项目从实战到落地层层展开。 该课程涉及的核心算法包括：一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 等，最后分享一些实际的量产经验。这门课程是自动驾驶之心联合工业界算法专家开设的《面向量产的端到端实战小班课》！课程只有一个重点：聚焦量产。从一 段式、两段式、强化学习、导航应用、轨迹优化、兜底方案再到具体量产经验分享。面向就业直击落地，所以这门课程目前不打算大规模招生， 仅剩「20名」招生 名额...... 讲师介绍 王路, C9本科+QS50 PhD，已发表CCF-A和 ...

文章核心观点 - 当前以Transformer和扩散模型为代表的AI模型在理解和生成精确的离散结构（如手指数目）上存在根本性缺陷，这暴露了其在视觉推理和几何理解方面的重大瓶颈 [32][36][50] AI模型在“手指难题”中的表现 - 当被要求对一张有六根手指的图片进行数字标注时，Nano Banana Pro模型只标出了1至5，直接略过了一根手指 [2] - 即使提示中明确说明图里有六根手指，GPT-5.2依然斩钉截铁地回答“五根”，其理由是“人类有五根手指，所以图里没有五根手指就是错的” [6] - 无论网友将手指画得多么奇形怪状，AI模型（如Nano Banana Pro）始终无法数出6根手指，坚持回答“5根” [8][9] - 通过一些变通指令（如将手绘数字改为电子版，或明确指示从小指到大拇指依次放数字），网友最终能让模型成功标注 [15][18] 技术缺陷的根本原因 - AI视觉系统的工作本质是将复杂场景简化为一组可识别模式，当遇到六指手这种包含罕见特征的图像时，系统倾向于将其强行纳入已知的“五指”模式 [32][34] - 模型从海量训练数据中学到了“人手=五指”的强关联，当情况偏离时，模型会视为异常并自动“纠错”，而非理解新事实 [32] - 扩散模型擅长捕捉整体分布和纹理风格，但在精确控制局部、离散、高对称性的结构（如正确的手指）时显得力不从心 [43] - 现有“端到端”的模型架构直接从文本提示映射到像素，中间缺乏明确的符号化结构表示层，导致“长什么样”和“结构是什么”冲突时系统失效 [45] Transformer架构的局限性 - Transformer架构的并行计算设计存在代价，其单次前向传递难以有效追踪状态信息，系统不擅长执行需要多步骤逻辑推理的任务 [37] - 对于手部这种数量固定、结构复杂、局部高度相关的对象，其多局部一致性、跨区域约束等特性恰是Transformer最不擅长的领域 [39] - Transformer将世界打平为token序列，缺乏对象概念和显式结构约束，这是其强大Token-to-token预测能力带来的致命短板 [46][47] 潜在的解决方向与行业启示 - 解决瓶颈可能需要采用混合建模，例如将擅长纹理的扩散模型与显式结构模型（如3D网格）相结合 [45] - 另一种思路是在模型架构中强化对特定区域（如手部）的局部注意力机制，或在训练/推理过程中引入几何约束损失函数 [45] - 视觉数据的复杂性远超文本，可能需要数十个数量级更多的计算资源才能真正处理视觉世界的全部细微差别 [47] - 当前AI在语言、知识、编码等领域已远超常人，但在视觉推理、长期学习、因果关系理解上仍然不足 [48] - “手指难题”提醒行业，即使是最先进的AI，也仍在学习如何看待世界的基本细节，对其能力需有更清醒的认识 [50]

核心观点 - 华科王兴刚教授团队提出DiffusionDriveV2，通过引入强化学习解决了其前代模型DiffusionDrive在端到端自动驾驶轨迹规划中面临的“多样性与持续高质量”两难困境 [1][3] - 该方法创新性地结合了锚点内GRPO、锚点间截断GRPO与尺度自适应乘法探索噪声，在保留多模态生成能力的同时，显著提升了轨迹的整体输出质量与安全性 [4][12] - 在NAVSIM v1和v2数据集的闭环评估中，DiffusionDriveV2结合ResNet-34主干网络取得了当前最优性能，PDMS分别达到91.2和85.5，创下新纪录 [4][33] 技术背景与问题 - 端到端自动驾驶（E2E-AD）直接从原始传感器输入学习驾驶策略，是当前发展浪潮 [5] - 传统单模态规划器仅回归单一轨迹，无法提供备选方案；基于选择的方法使用静态候选轨迹库，灵活性有限 [5] - 原始扩散模型应用于轨迹生成时面临模式崩溃（mode collapse）问题，倾向于生成保守且单一的轨迹，无法捕捉未来多样性 [5][13] - DiffusionDrive通过预定义轨迹锚点构建高斯混合模型先验，将生成空间划分为对应不同驾驶意图的子空间，从而促进多样化行为生成 [5][13] - 但DiffusionDrive依赖模仿学习，其训练目标仅优化与专家轨迹最接近的“正模式”，对占样本绝大多数的“负模式”缺乏约束，导致生成大量低质量甚至碰撞的轨迹，无法保证持续高质量 [8][17][18] DiffusionDriveV2核心方法 - **整体架构**：采用DiffusionDrive作为预训练的轨迹生成器进行冷启动，引入强化学习目标对所有生成模式施加约束并推动探索 [19][21] - **尺度自适应乘法探索噪声**：为解决轨迹近端与远端尺度不一致问题，采用纵向与横向乘法高斯噪声替代加法噪声，生成的探索路径更平滑，保留了轨迹连贯性 [24] - **锚点内GRPO**：为避免不同驾驶意图（如直行与转弯）间不当的优势比较导致模式崩溃，仅在每个锚点内部生成的轨迹变体组内执行GRPO策略更新 [9][24] - **锚点间截断GRPO**：为解决锚点内GRPO优势估计丧失全局可比性的问题，修改优势估计，将所有负优势截断为0，并对发生碰撞的轨迹施加-1的强惩罚，原则是“奖励相对改进，仅惩罚绝对失败” [27][28] - **模式选择器**：采用两阶段“粗到细”评分器，结合二元交叉熵损失和Margin-Rank损失，从多模态预测中选择最优轨迹 [29] 实验结果与性能 - **基准测试成绩**：在NAVSIM v1测试集上，PDMS达到91.2，相比DiffusionDrive提升3.1；在NAVSIM v2测试集上，EPDMS达到85.5 [4][33] - **模型效率**：仅使用2180万参数的ResNet-34主干网络，性能优于基于9690万参数V2-99主干网络的对比方法（如GoalFlow和Hydra-MDP） [33] - **多样性与质量权衡**： - 原始扩散方法（如TransfuserTD）多样性得分仅0.1，质量稳定但缺乏多样性 [37] - DiffusionDrive多样性得分高达42.3，但质量无法保证（PDMS@10为75.3） [37] - DiffusionDriveV2多样性得分30.3，在多样性与质量间实现最优权衡，其PDMS@1为94.9（提高上限），PDMS@10为84.4（提高下限） [37][38] - **消融实验验证**： - 乘法探索噪声优于加法噪声，PDMS从89.7提升至90.1 [40] - 使用锚点内GRPO使PDMS从89.2提升至90.1 [41] - 使用锚点间截断GRPO使PDMS从89.5提升至90.1 [42] 研究意义与贡献 - 据研究者所知，DiffusionDriveV2是首个直接面对并解决截断扩散模型在轨迹生成中“多样性与持续高质量”两难困境的工作 [12] - 是首个成功将GRPO方法迁移到基于锚点的截断扩散模型的工作 [12] - 该方法证明了强化学习的“探索-约束”范式能有效提高模型性能下限与上限，为端到端自动驾驶规划提供了新思路 [8][38]

行业技术发展趋势 - 2023年是端到端自动驾驶量产的元年，2024年将是其量产的大年，目前头部新势力和主机厂均已实现端到端量产 [1] - 工业界存在两种主要技术范式：一段式（如UniAD，从传感器输入直接建模自车轨迹）和二段式（基于感知结果进一步输出自车及他车轨迹） [1] - 自2023年以来，一段式端到端技术发展迅速，衍生出基于感知、世界模型、扩散模型及视觉语言模型（VLA）等多种方法 [3] - 主流自动驾驶企业，包括智驾方案供应商和车企，均在发力端到端自动驾驶的自研与量产 [3] - 基于视觉语言模型（VLA）的端到端方法被认为是目前该领域的皇冠，上限高且难度大，因此业内招聘需求也最为旺盛 [12] 课程核心内容与结构 - 课程旨在系统讲解端到端与VLA自动驾驶，内容涵盖BEV感知、视觉语言模型、扩散模型、强化学习等前沿技术栈 [5] - 第一章介绍端到端算法的发展历史、概念起源、从模块化到端到端的演进，以及一段式、二段式和VLA范式的优缺点与适用场景 [8] - 第二章重点讲解端到端涉及的背景知识，包括大语言模型、扩散模型、强化学习及BEV感知，这些被认为是未来两年求职面试的高频技术关键词 [8][9] - 第三章聚焦二段式端到端，解析其定义、出现原因，并讲解经典算法PLUTO、CVPR'25的CarPlanner及最新的Plan-R1等工作 [9] - 第四章作为课程精华，深入讲解一段式端到端的各个子领域：基于感知的UniAD、基于世界模型、基于扩散模型以及基于VLA的方法 [10] - 第五章设置RLHF微调大作业，进行实战演练，内容包括预训练与强化学习模块搭建，该技能可迁移至VLA相关算法 [11][13] 关键技术详解与实战案例 - 基于感知的一段式方法将讲解奠基之作UniAD、地平线VAD以及CVPR'24的PARA-Drive [12] - 基于世界模型的方法将讲解AAAI'25的Drive-OccWorld和复旦团队的OccLLaMA，世界模型技术方向热门，应用广泛，包括场景生成、端到端驾驶和闭环仿真 [12] - 基于扩散模型的方法将讲解业内应用广泛的DiffusionDrive、Diffusion Planner和吉大的DiffE2E，并配有Diffusion Planner实战，扩散模型用于多模轨迹预测以更好适应环境不确定性 [12] - 基于VLA的方法将讲解小米的ORION、慕尼黑工大的OpenDriveVLA以及最新的ReCogDrive，并以小米ORION（截至2025年7月已开源推理和评测模块）作为实战案例 [12] - 课程第二章将详细拆解多项基础技术：从Transformer扩展到视觉Transformer，讲解CLIP和LLaVA；详解BEV感知在3D检测、车道线、OCC、轨迹预测与规划中的应用；讲解扩散模型理论；以及VLM相关的强化学习技术如RLHF和GRPO [11] 课程目标与受众要求 - 该课程是首个面向端到端自动驾驶的进阶实战教程，旨在推动端到端技术在工业界的落地 [14] - 期望学员学完后能达到具备1年左右经验的端到端自动驾驶算法工程师水平 [16] - 学员需自备GPU，推荐算力在RTX 4090及以上；需具备一定的自动驾驶领域基础，熟悉基本模块；了解transformer大模型、强化学习、BEV感知等基本概念；具备概率论、线性代数基础及Python和PyTorch编程能力 [16] - 课程收获包括：掌握涵盖一段式、两段式、世界模型、扩散模型等的端到端技术框架；对BEV感知、多模态大模型、强化学习、扩散模型等关键技术有更深刻理解；可复现扩散模型、VLA等主流算法框架；能够将所学应用于实际项目设计 [16]

AI视频技术概览 - AI视频属于狭义AI范畴内基于学习的生成式AI，是AIGC的重要分支，核心任务包括视频生成、编辑与理解，典型生成方式为文生视频、图生视频、视频到视频 [1] - 技术演进从2016年前的GANs探索阶段，到2020-2024年扩散模型实现商业化突破，再到2024年Sora发布开启“AI视频元年”，行业进入分钟级高清视频量产阶段 [1] - 国内外主流工具平台包括OpenAI Sora、快手可灵AI、字节即梦AI、Runway、Pika等，各平台在时长、画质、风格上各具特色 [2] 技术原理与架构 - 扩散模型因训练稳定、生成多样性强成为主流技术范式，其架构分为U-Net和DiT两类，U-Net易训练但一致性弱，DiT成本高但长视频一致性强 [3] - 关键技术组件包括：Transformer的自注意力机制保障时空一致性，VAE实现像素空间与潜空间的压缩转换，CLIP完成文本与视觉的语义对齐，时空补丁统一数据格式降低计算成本 [3] - 训练数据的规模、质量和多样性决定模型上限，主流数据集包括WebVid-10M等文本-视频对数据集，以及UCF-101等类别级数据集 [4] 技术能力发展与突破 - 主流模型已实现1080p/4K分辨率、最长2分钟时长的生成，部分模型支持原生音画同步，国产模型在中文语义理解和可控性上优势显著 [5] - 现存核心瓶颈包括时序一致性、物理逻辑合理性、细节情感表达，且算力成本制约技术普及 [5] - 已形成VBench、SuperCLUE等评估体系，VBench2.0更聚焦“内在真实性”，谷歌Veo 3、快手可灵AI等模型在榜单中表现突出 [5] 行业应用案例与价值 - 在影视娱乐领域，AI实现从前期概念设计、中期虚拟制片到后期智能剪辑的全流程介入，催生了AI短剧、AI重制长片等新业态，大幅降本增效 [6] - 在短视频与营销领域，AI视频成为应用最广泛领域，可快速生成品牌广告、UGC创意内容、虚拟主播带货视频，实现低成本规模化内容量产 [6] - 在文旅行业，AI用于制作城市宣传片、打造AI文旅推荐官、结合VR/AR实现沉浸式体验，助力文化IP传播与旅游营销 [7] - 在教育培训领域，AI用于批量生成微课视频、打造AI虚拟教师、定制个性化学习内容，解决教育资源不均问题 [8] - 在新闻媒体领域，AI虚拟主播实现24小时播报，AI生成沉浸式新闻叙事，但面临内容真实性、版权合规等伦理挑战 [9] 工具选用建议 - 建议根据场景化选型：专业影视选Runway或可灵AI，短视频运营选即梦AI或Pika，动漫动态化选海螺AI或Pixverse，国风内容选Vidu等国产工具 [10] - 使用门槛分级：国内工具零门槛直连，海外工具需科学上网和外币支付，Sora/Veo等生态绑定工具门槛最高 [11] - 核心原则是采用多工具协作工作流，以“导演思维”驾驭工具，而非依赖单一平台 [12] 市场格局与厂商动态 - 代表性厂商及产品包括：OpenAI Sora、快手可灵AI、字节即梦AI、Runway、Pika Labs、生数科技Vidu、Luma AI、阿里通义万相等 [49] - 可灵AI支持生成长达2分钟、1080p、30fps的视频，其Kling 2.5 Turbo版本成本降低30%，全球用户已突破4500万 [49] - 即梦AI背靠抖音与剪映生态，打通从“AI生成”到“剪辑发布”全链路，月活5400万，2025年10月网站访问量达1000万 [49] - 通用大模型通过集成顶尖视频模型获得强大视频生成能力，例如ChatGPT集成Sora，Gemini生态集成Veo，Meta AI集成Emu Video，通义千问集成通义万相，豆包与抖音/TikTok和剪映形成闭环 [51] 发展前景与核心观点 - AI视频最终将走向“人机共创”范式，成为像互联网一样的基础设施，人类需聚焦创意与判断力，实现与AI的协同进化 [13] - AI视频正从实验性“技术炫技”阶段迅速发展为影视预演、广告创意、短视频制作和在线教育的实用工具，行业变革的临界点已清晰可见 [37] - 2024年初Sora模型凭借一分钟长度、高清画质及物理世界连贯性理解，重新定义了AI视频生成能力 [37]

行业研究动态 - AI研究更新速度飞快，新论文几乎每天出现，技术概念复杂，Roblox CEO认为想真正看懂所有论文极其困难[1] - AI研究浪潮规模巨大、速度惊人，从Transformer到扩散模型再到世界模型，内容多到难以完全掌握[3] - 随着AI从学界扩展到国家战略高度，Meta、微软等公司纷纷建立自己的研究部门，并以极高薪资吸引顶尖人才[3] - AI研究变得更封闭，2023年谷歌决定减少公开发表的AI论文，公司进入要靠内部知识竞争的阶段[3] - OpenAI联合创始人认为，真正决定AI走向的仍是研究本身，现在重新回到研究时代，只不过用的是更大的计算机[3] 公司观点与战略 - Roblox CEO在创业初期几乎读遍从物理模拟到图形渲染的各类研究且都能理解，但AI时代的到来改变了一切[3] - Roblox CEO的结论是，AI在三维世界里仍然处于非常初期的阶段[3] - AI依赖的是人类制造出来的文本和图像，是用自己创造的内容训练AI，而不是用真实世界的三维原始数据[3]

世界模型的定义与前景 - 世界模型本质是预测模型，给定当前状态及动作序列，预测下一个状态 [3] - 世界模型可理解为AI对环境状态的预测和判断，从简单游戏世界逐渐走向高质量状态模拟 [3] - 终极目标是对世界进行1:1建模，可能达到原子级别，但实际需根据不同任务目的进行建模 [3] - 三大应用前景包括：为自动驾驶、具身智能等多模态任务提供更多数据、建立模型与世界的结合替代传统模拟器、以及最终成为端到端系统的一部分 [3] 世界模型的构建与数据挑战 - 构建面临核心悖论：先有模型还是先有数据，自动驾驶公司积累上亿公里数据但99%为晴天道路数据，缺乏危险场景数据 [5] - 可行路径为先用常见数据训练垂类模型，再生成更多极端案例数据，通过迭代增强世界模型 [5] - 有公司构建世界模型时数据采集成本达千万级，研究团队难以承担，需通过特定高质量数据提升模型效果 [5] - 提出循环过程：先有0.1版本模型生成0.1版本数据，再进一步训练模型，采用生成数据与真实数据混合模式 [5] 技术实现路径与架构分歧 - 技术路径存在分歧，有研究团队偏向融入物理信息保持视觉模型与物理世界一致性如重力 [6] - 模型构建与需求相关，面向影视游戏方向视频生成更合适，面向通用任务可能不需严格保持物理规律 [6] - 随着生成能力增强，模型最终形态可能是纯生成式，无需重建 [6] - 架构存在扩散模型与自回归模型之争，扩散模型从随机噪声还原内容更接近物理世界生成方式 [7] - 观察到技术融合趋势，包括OpenAI正探索将不同架构在特定阶段统一，如使用token化扩散 [7] - 已有扩散和自回归结合工作，扩散擅长捕捉现实世界分布，自回归补足时序与逻辑连贯性 [7] 发展时间表与商业化前景 - 世界模型的ChatGPT时刻可能需要三年左右出现，目前最困难是缺乏高质量长视频数据 [8] - 视频生成时长大多在5到10秒，大厂演示仅达一分钟量级，因此ChatGPT时刻可能需更长时间 [8] - 世界模型可能是现在及未来十年新的爆发方向，随着语言模型发展成熟需开拓新研究方向 [8] - 存在ToB和ToC商业化挑战，如ToB端按token收费时如何定义视频生成数据价值，ToC端如何提升token [8] - 未来需训练强化学习Agent并将视觉-语言-动作技术进化为世界-语言-动作技术 [8]

文章核心观点 - MIT何恺明团队提出极简扩散模型架构JiT，让模型直接预测干净图像本身，而非预测噪声或混合噪声 [10] - 该方法在高维像素空间中表现更强、更稳、更简单，无需潜在空间、分词器、预训练或额外损失函数 [11][13] - 直接预测干净图像的任务更简单，因为自然图像位于低维流形上，而噪声是高维乱流，网络容量有限时预测噪声会导致模型崩溃 [14][15][17] 技术原理与创新 - 核心思想是让网络预测干净数据，而非噪声或混合噪声，通过数学推导证明直接输出干净图像可使任务更简单 [18][19] - 即使在高维场景如3072维patch（32×32×3）中，只有直接预测干净图像的方式不会崩溃 [20] - 框架仅使用Vision Transformer直接在原始像素patch上操作，输入输出均为像素patch，结构极简 [17] 模型性能与实验结果 - 在ImageNet 256×256分辨率上，JiT-L/16模型FID达到2.36，JiT-G/16模型FID达到1.82，与依赖复杂潜在空间的大型扩散模型性能相当 [30] - 在512×512分辨率下，JiT-H/32模型FID为1.94，JiT-G/32模型FID为1.78，证明在3072维高维patch下仍能稳定训练 [31] - 在1024×1024超高分辨率下，JiT-B/64模型FID为4.82，且计算成本几乎不随分辨率增加而上升，序列长度保持恒定 [32] 架构优势与反直觉发现 - 即使将patch embedding压缩至低维瓶颈（如32维甚至16维），模型不仅未崩溃，FID指标反而显著提升，与低维流形假设一致 [27][28][35] - 模型可处理高达12288维的patch（64×64×3），完全摆脱潜在空间，在原生像素空间自洽工作 [24][25] - 该方法特别适合需要处理原始高维数据的领域，如具身智能和科学计算，有望成为更通用的生成基础方式 [34]

世界模型的定义与愿景 - 世界模型本质上是预测模型，给定当前状态及动作序列，预测下一个状态 [4] - 世界模型可理解为AI对环境状态的预测和判断，从简单游戏世界逐渐走向高质量3A大作级的虚拟环境模拟 [4] - 终极目标是将世界1：1建模，可能到原子级别，但实际只需依照不同任务目的进行建模 [4] 世界模型的应用前景 - 为自动驾驶、具身智能等多模态任务提供更多数据 [4] - 建立模型与世界的结合以替代传统模拟器 [4] - 最终成为端到端系统的一部分 [4] 数据瓶颈与构建路径 - 自动驾驶公司积累上亿公里数据，但99%都是晴天道路数据，真正危险场景数据稀缺 [5] - 构建世界模型时采集数据的成本在千万级，非研究团队能直接承担 [5] - 可行路径为：先用常见数据训练垂类模型，再生成更多极端案例数据，通过迭代增强模型 [5] - 采用“生成数据 + 真实数据”的混合模式，通过模型、产品、数据的循环推动发展 [5] 技术路径与架构分歧 - 技术路径分歧明显：有团队偏向融入物理信息以保持一致性（如重力），而面向影视、游戏等创意领域则视频生成可能更合适，甚至不需要严格遵守物理规律 [7] - 模型最终形态可能是纯生成的，但随着生成能力增强，对物理规律的掌握会越来越好 [7] - 在架构上，扩散模型从随机噪声中逐步还原内容，更接近物理世界生成方式及人脑解码机制，被认为更适合世界模型 [8] - 观察到技术融合趋势，如OpenAI正探索将不同架构（如token化的扩散）统一 [9] - 扩散模型擅长捕捉现实世界真实分布，但需自回归模型补足时序与逻辑连贯性，已有扩散和自回归结合的工作 [9] 商业化挑战与发展时间表 - 世界模型存在ToB和ToC两方面的商业化挑战：ToB端需定义视频生成数据对用户的价值，ToC端需提升token价值 [10] - 业内人士估计世界模型的“ChatGPT时刻”可能需要三年左右出现 [10] - 目前最困难的是缺乏高质量长视频数据，视频生成时长大多在5到10秒，大厂演示也只能做到一分钟量级 [10] - 世界模型可能是现在及未来十年新的爆发方向，随着语言模型发展成熟，需开拓新研究方向推动AI进步 [10] 未来技术演进方向 - 未来世界模型可能更需要训练强化学习Agent，以及如何将VLA（视觉-语言-动作）进化为WLA（世界-语言-动作） [11]