公司产品与技术 - World Labs发布全新实时生成式世界模型RTFM 该模型基于大规模视频数据进行端到端训练 是一款效率极高的自回归扩散Transformer模型 [2][3] - RTFM模型的核心突破在于不依赖显式3D表征 仅通过输入1张或多张2D图像就能直接生成不同视点的全新2D图像 可精准建模3D几何 反射 阴影等复杂物理现象 [3] - 模型具备高效性 可扩展性 持久性三大核心优势 仅需一块英伟达H100 GPU芯片即可实现实时渲染和交互式体验 [4][8] - 模型通过"带位姿帧空间记忆"与"上下文调度"技术实现世界场景的持久性 确保用户长时间交互也能保持场景一致性 [8] - 公司未来规划将构建空间智能大模型LWM 该模型将支持AR并最终作用于机器人技术 改进自动驾驶汽车 自动化工厂 人形机器人等领域 [10] 行业影响与发展路径 - 该模型技术被业内称为"学会渲染的 AI" 真正解决了长期困扰世界模型可扩展性的问题 [3][6] - "空间智能+世界模型"成为AGI重要发展路径之一 强大的世界模型能实时重建 生成并模拟物理精确的世界 将彻底改变软件 机器人等很多领域和产业 [7] - 生成式世界模型正处在绝佳位置 将从持续降低的算力成本中获益 [4] - 公司联合创始人李飞飞认为 语言 空间 视觉 具身智能等多种AI技术正在融合 并开始真正改变人类社会 [12] 公司融资与估值 - World Labs于今年9月获得2.3亿美元（约合人民币16亿元）融资 由a16z NEA恩颐投资和Radical Ventures领投 AMD Adobe Databricks的风投部门和Shinrai Investments LLC以及英伟达创投部门参与投资 [10] - 公司成立仅3个月估值便达到10亿美元（约合70亿元） 团队约24人 其中华人面孔约占据三分之一 [10] 相关研究项目 - 李飞飞团队还打造了Behavior视觉挑战比赛 并于今年10月正式发布Behavior 1K 这是一个包含1000个任务的综合仿真基准与训练环境 主要聚焦日常家庭环境中的"长时序任务" [11][12] - Behavior项目旨在解决机器人学习中的三大痛点 任务缺乏标准化 缺乏统一的任务体系以及缺乏训练数据 为全球研究者提供开放源码的训练与评测平台 [11]

模型发布 - 公司于当地时间10月16日宣布推出全新模型RTFM (A Real-Time Frame Model) [1] - 该模型具备实时运行、持久性和3D一致性等技术特性 [1] - 模型对硬件要求较低，单张H100 GPU即可运行 [1]

模型技术特点 - 推出全新模型RTFM，具备实时运行、持久性和3D一致性 [1] - 模型效率极高，仅需单张H100 GPU便能以交互级帧率实时完成推理运算 [1] - 架构具备可扩展性，能随数据量与算力增长而持续扩展，通过端到端的通用架构从海量视频数据中自主学习 [1] - 系统构建的持久化3D世界具有持久性，用户可无限时长交互，所有场景将永久留存 [1] - 采用自回归扩散变换器架构，通过海量视频数据进行端到端训练，实现基于历史帧的后续帧预测 [7] - 模型作为可学习的渲染器，无需构建任何显式3D表征即可从新视角生成场景的2D图像 [7] - 通过将每一帧建模为在三维空间中具有姿态，并将带有姿态的帧作为空间记忆使用，实现持久性不受限制 [9] - 采用上下文切换技术，使模型在不同空间区域生成内容时使用不同的上下文帧，无需对不断增长的帧集合进行推理 [10] 行业技术挑战与机遇 - 强大的世界模型能够实时重建、生成并模拟具有持久性、可交互且物理精确的世界，将彻底改变从媒体到机器人技术等各行各业 [3] - 生成式世界模型对算力的需求将远超当今的大型语言模型 [5] - 若直接套用现有视频架构，生成60帧的4K交互视频流每秒需产生超过10万个token，维持一小时以上持续交互需处理的上下文token更将突破1亿大关 [5] - 生成式世界模型正处在绝佳位置，能从持续降低的算力成本中获益 [6] - 传统3D图形管线依赖人工设计的数据结构与算法，难以随数据量与算力增长实现线性扩展 [7] 研发目标与理念 - 团队目标为设计一款足够高效、可立即部署，并能随算力提升持续扩展的生成式世界模型 [6] - 旨在打造仅需单张H100 GPU即可驱动的模型，在保持交互帧率的同时，确保虚拟世界永不消散 [6] - 团队深信随算力增长优雅扩展的简洁方法终将在AI领域占据主导 [6] - 通过精心优化推理堆栈的每个环节，融合架构设计、模型蒸馏与推理优化的前沿突破，致力于在当今硬件上呈现对未来模型最高保真度预览 [6]

自动驾驶行业现状与前景 - 自动驾驶行业技术形态开始收敛，但产品形态尚未收敛，仍有许多值得打磨之处 [1] - 行业对计算资源的投入巨大，达到万卡级别，在基建、数据闭环及云端工具链成熟度方面具有优势 [1] - 业内主流在打磨L2功能，L3法规在路上，L4还有更多悬而未决的问题 [1] - 世界模型和VLA（Vision-Language-Action）等技术路线理论部分趋于完善，但落地和用户体验提升仍有长路要走 [1] - 行业更适合硕士和博士将学术探索直接落地，因其拥有完整的基建 [1] - 真正留在行业内的主力是技术栈丰富的综合型人才，洗牌是早晚的事情 [2] 自动驾驶之心知识星球社区 - 社区是一个集视频、图文、学习路线、问答、求职交流为一体的综合类自动驾驶社区 [4] - 社区目前已有超过4000名成员，期望未来2年内做到近万人规模 [4][5] - 社区汇总了40多个技术方向的学习路线，并邀请了数十位活跃在一线的产业界和学术界大佬作为嘉宾 [7][10] - 社区提供岗位内推机制，与多家自动驾驶公司建立了合作 [11] - 社区成员来自上海交大、北京大学、CMU、清华大学等国内外知名高校，以及蔚小理、地平线、华为等头部公司 [16] - 社区内部梳理了近40个开源项目、近60个数据集及行业主流仿真平台 [17] 社区技术资源覆盖范围 - 技术方向覆盖感知、规划控制、仿真、端到端自动驾驶、VLA、世界模型、多传感器融合、BEV感知、3D目标检测等40多个领域 [10][17][27] - 提供包括“自动驾驶100问系列”在内的实战问答，涵盖TensorRT模型部署、毫米波雷达融合、车道线检测等主题 [10] - 社区内部有原创直播课程，涵盖感知融合、多传感器标定、SLAM与高精地图、决策规划等多个系列视频教程 [11] - 汇总了国内外自动驾驶与机器人高校实验室、自动驾驶公司、开源项目及开源数据集 [28][30][34][36] 行业热点与技术趋势 - 端到端自动驾驶是学术界和工业界的研究热点，社区详细梳理了一段式、二段式、量产方案及VLA相关算法 [38] - 3DGS与NeRF、自动驾驶世界模型、视觉语言模型（VLM）、自动驾驶VLA是当前前沿领域 [40][42][44][46] - BEV感知是当下量产的基石，扩散模型是与世界模型、大模型结合的研究热点 [50][52] - 社区内部有超过一百场专业技术直播，分享内容涵盖VLA、V2X、3D检测、大模型等最新工作 [90]

端到端自动驾驶技术趋势 - 端到端算法是当前自动驾驶量产的核心算法，技术栈丰富，业内主要存在一段式和两段式两大类范式 [1] - 一段式范式以UniAD为代表，直接从传感器输入建模自车轨迹输出，而二段式则基于感知结果进一步输出自车和他车轨迹 [1] - 一段式端到端算法可进一步延伸出基于感知、扩散模型、世界模型以及视觉语言模型（VLA）等多种子领域，尤其是基于VLA的算法相关论文正爆发式发表，工业界也在争先量产 [1] 自动驾驶VLA与大模型技术 - 核心算法涉及BEV感知、视觉语言模型（VLM）、扩散模型、强化学习、世界模型等，代表了学术界和工业界最前沿的技术方向 [3] - 自动驾驶VLA与大模型实战课程聚焦VLA领域，内容涵盖从VLM作为自动驾驶解释器，到模块化VLA、一体化VLA，以及当前主流的推理增强VLA [3] - 课程配套理论基础梳理，包括Vision/Language/Action三大模块、强化学习、扩散模型等，并设有大作业章节指导从零搭建VLA模型及数据集 [3] 课程师资与团队 - 课程教师团队包括来自清华大学等顶尖院校的研究人员，在ICCV、IROS、EMNLP等国际顶级会议发表多篇论文，研究方向涵盖多模态感知、自动驾驶VLA、大模型Agent等前沿领域 [8][11] - 教师团队具备丰富的自动驾驶、大模型研发和实战经验，例如有教师主持完成多项自动驾驶感知和大模型框架工具，其维护的开源项目总Star数超过2k [8] - 工业界教师团队包括来自国内顶级主机厂的算法专家，拥有CCF-A/B论文发表记录，并主持完成多项自动驾驶感知和端到端算法的产品量产交付，具备丰富的端到端算法研发经验 [12][14] 端到端自动驾驶课程内容 - 端到端与VLA自动驾驶课程由工业界专家带队，聚焦端到端自动驾驶宏观领域，梳理一段式/两段式方向的重点算法和理论基础 [12] - 课程详细讲解BEV感知、大语言模型、扩散模型和强化学习等关键技术 [12] - 课程设计两大实战项目：基于扩散模型的Diffusion Planner和基于VLA的ORION算法 [12] 课程参与要求 - 参与者需要自备GPU，推荐算力在RTX 4090及以上 [15] - 参与者需具备一定的自动驾驶领域基础，熟悉自动驾驶基本模块，并了解transformer大模型、强化学习、BEV感知等技术的基本概念 [17] - 参与者需具备一定的概率论和线性代数基础，熟悉常用数学运算，并具备一定的Python和PyTorch语言基础 [17]

行业竞争逻辑转变 - 2025年电动化渗透率突破50%的拐点来临，行业共识是“电动化决定车企下限，智能化决定车企上限” [1] - 智驾作为“皇冠上的明珠”，成为下半场竞争的核心战场 [1] 蔚小理智驾部门人事与战略调整 - 蔚来、小鹏、理想三家头部新势力在短短数月内发生17位高管岗位变动，进行自动驾驶部门“大换血” [1] - 小鹏汽车人事调整最为跌宕，智驾北美负责人朴一树、视觉感知负责人王弢离职，由袁婷婷、刘先明等接任重要职位 [2] - 小鹏汽车技术路线从VLA全面转向具备物理世界推演能力的“世界基座模型” [4] - 蔚来呈现“架构重构+核心流失”局面，技术专家胡成臣、算法核心樊昊阳、世界模型负责人马宁宁等骨干离职 [4] - 蔚来将感知和规控团队合并为大模型团队，构建“4×100接力棒”研发模式，旨在冲刺世界模型2.0，其NWM已实现100毫秒内推演216种轨迹的能力 [4] - 理想汽车智驾团队规模从峰值缩减至800人，技术路线经历多次转向后确立“VLA+世界模型融合”路线，其OTA 8.0.1版本在环岛场景通过率超90% [5] - 三家公司的调整共同指向行业共识：传统模块化智驾方案已触瓶颈，世界模型成为通向L3/L4的必经之路 [7] 外部竞争压力 - 传统车企如长城、广汽、比亚迪快速追赶，比亚迪智能驾驶车型累计销量已突破71万辆 [8] - 华为等科技巨头构成威胁，其ADS 4.0系统以0.6次的超低接管次数稳居第一梯队，并通过“HIPLUS”模式构建行业性技术基础 [8] - 路测数据显示，传统车企与新势力的技术差距正快速缩小，头部传统车企已对第二梯队新势力实现“贴身紧逼” [10] 资金与研发投入挑战 - 智驾、AI、芯片等领域的研发投入巨大，蔚来2024年研发费用达130.4亿元，其中大量投向NWM架构与自研芯片 [10] - 小鹏的自研芯片多次延期，部门墙问题加剧成本压力；理想虽盈利，但智驾团队调整与技术转向带来隐性成本 [10] 差异化应对策略 - 小鹏押注“云端基座模型+车端蒸馏”模式，以万卡智算集群实现5天一次迭代，720亿参数模型已实现车端控车 [11] - 蔚来采取“自研+合作”策略，在推进NWM 2.0的同时与Mobileye合作快速落地L2+功能 [11] - 理想通过整合芯片、OS、模型等部门，以“高效协同”降低成本 [11]

市场表现 - 科创人工智能ETF华夏收报1.432元，跌幅3.83%，成交额约2.41亿元，成交量1.67亿份，成分股30只中仅1只上涨 [1] - 机器人ETF收报1.009元，跌幅4.09%，成交额达18.25亿元，成交量超17.7亿份，成分股73只中仅1只上涨 [1] - 合合信息逆势上涨1.92%，海得控制逆势上涨4.78%，而双环传动、鸣志电器、绿的谐波、中控技术等板块核心权重股跌幅均超6% [1] 行业动态 - 马斯克旗下xAI公司正构建"世界模型"，与Meta和谷歌等对手角逐下一代AI系统，并将游戏与机器人视为验证世界模型的首批应用方向 [2] - 新益昌发布具身智能机器人HOSON-Robot，将人形机器人业务列为公司战略发展核心，并持续在机器人"小脑"运动控制器、混合智能架构模型等领域推进研发 [2] - 亚马逊云科技推出Agentic AI应用Amazon Quick Suite，可连接企业内部知识库及超1000个应用，旨在帮助员工自动化任务和开展深度研究 [2] 机构观点 - 持续看好板块行情，特斯拉第三代新品发布及明年展望逐步清晰利好板块β表现 [3] - 国产链条预计下半年来自于资本运作、订单出货、场景落地等消息将不断催化，建议重视板块布局机会 [3]

文章核心观点 - 端到端自动驾驶现有方案存在忽略场景动态演化和忽视车辆行为对环境影响两大问题 [1][5] - SeerDrive提出轨迹规划与场景演化的双向建模范式，通过预测未来BEV表示捕捉场景动态，并让规划结果反馈给场景预测优化，形成闭环迭代 [3][4] - 该方法在NAVSIM和nuScenes数据集上达到SOTA性能，PDMS分数达88.9，超越Hydra-NeXt等现有方法 [23][24] SeerDrive设计原理 - 整体pipeline包含特征编码、未来BEV世界建模、未来感知规划、迭代优化四大模块 [4] - 核心是通过"预测未来场景→指导规划→反馈优化场景"的闭环实现双向交互 [4] - 采用解耦策略让当前与未来场景分别指导规划，再通过运动感知层归一化融合结果 [15] 技术实现细节 - 特征编码将多模态传感器输入和车辆自身状态编码为结构化特征，生成当前场景BEV特征图 [7][8] - 未来BEV世界建模基于当前BEV和ego特征预测未来场景演化，生成未来BEV特征而非复杂图像 [10][11] - 未来感知规划采用解耦策略分别利用当前感知与未来场景预判，避免表示混淆 [14][15] - 引入闭环迭代优化强化轨迹规划与场景演化的双向依赖，实验验证迭代2次时性能与效率最优 [16][17][18] 实验验证结果 - NAVSIM测试集上PDMS分数达88.9，超越Hydra-NeXt（88.6）、WoTE（88.3）等方法 [23] - 采用V2-99骨干网络时PDMS进一步提升至90.7，超过GoalFlow的90.3且计算成本更低 [23] - nuScenes验证集平均L2位移误差为0.43m，平均碰撞率为0.06%，显著优于SparseDrive等方法 [24] - 消融实验表明去掉未来感知规划或迭代优化均导致PDMS下降，验证双向建模和迭代优化的关键作用 [26][27] 行业技术对比 - 与UniAD、VADv2等方法仅优化规划过程不同，SeerDrive建模场景演化与规划的双向依赖 [37] - 与世界模型DriveDreamer等生成高保真图像相比，SeerDrive采用BEV表示更轻量且适配规划需求 [44] - 与WoTE仅用世界模型从候选轨迹中选最优不同，SeerDrive将未来BEV作为规划的特征级输入实现深度交互 [44]

自动驾驶技术十年发展回顾 - 自动驾驶行业自2015年蓬勃发展至今已走过十年历程 [3] - 十年间涌现出视觉Transformer、BEV感知、多传感器融合、端到端自动驾驶、大模型、VLA、世界模型等众多闪耀技术 [3] - 自动驾驶的量产方案在技术发展过程中互相碰撞和融合 [3] 圆桌对话核心议题 - 回顾过去10年自动驾驶技术迭代的几个里程碑事件 [13] - 复盘过去两年自动驾驶领域的发展 [13] - 探讨世界模型和VLA的技术路线之争 [4][13] - 分析端到端是否已成为智驾技术栈的基石 [13] - 探讨学术界和工业界对L3自动驾驶的思考 [4][13] - 分析学界研究方向在收敛而工程端在拼落地的现状 [13] - 为新入行的自动驾驶人提供职业发展建议 [4][13] 主讲嘉宾背景 - 崔轲迪担任百度BV风投副总裁 [5] - 孙昊现任博世中央研究院自动驾驶负责人，研究方向为自动驾驶感知和端到端智能系统，拥有新加坡国立大学博士和麻省理工新加坡研究中心博士后经历 [5] - 许凌云现任长安科技泊车业务负责人，拥有中国科学院博士和卡内基梅隆机器人研究所博士后经历，曾获DARPA SUBT无人车挑战赛2019年世界冠军 [5] - 郑文钊为加州大学伯克利分校人工智能实验室博士后研究员，在TPAMI、CVPR等顶级期刊会议发表论文50余篇，谷歌学术引用2700余次 [6] 活动信息 - 圆桌对话定于10月15日晚举行 [9] - 活动由自动驾驶之心运营负责人Gloria和知乎大V刘斯坦共同主持 [7][8] - 完整版深度内容已独家上线知识星球「自动驾驶之心」，涵盖所有技术细节、QA及未公开内容 [17]

行业核心催化与动态 - 机器人板块近期迎来密集催化，包括技术突破、出口高增及政策支持 [1] - 马斯克旗下xAI从英伟达挖来两名核心研究员Zeeshan Patel和Ethan He，加码机器人领域，并计划将世界模型技术应用于游戏和机器人 [1] - 世界模型是一种能理解物理环境动态特征的生成式AI模型，可利用文字、图像、视频及动作数据生成影片，并实现对现实世界的自主导航与模拟，致力于将AI能力拓展至实体产品 [1] - 海关总署数据显示，2025年前三季度，我国出口工业机器人增长54.9% [1] - 杭州政府研究《杭州市促进具身智能机器人产业发展条例（草案）》等事项，旨在形成产业发展的良好氛围 [2] - 机构观点认为，特斯拉Gen3将实现万台级量产出货，产业主升浪将至，T链核心最优先，同时关注宇树链和figure链 [2] 市场表现与产品 - 截至2025年10月14日11:30，国证机器人产业指数(980022)成分股涨跌互现，奥普光电领涨6.55%，富临精工上涨1.50%，江苏北人上涨1.03%，绿的谐波领跌 [2] - 机器人ETF鹏华(159278)最新报价为1.1元，该ETF紧密跟踪国证机器人产业指数 [2] - 国证机器人产业指数反映沪深北交易所机器人产业相关上市公司的证券价格变化情况 [2] 指数成分与权重 - 截至2025年9月30日，国证机器人产业指数(980022)前十大权重股包括双环传动、科沃斯、石头科技、绿的谐波、机器人、拓普集团、鸣志电器、埃斯顿、汇川技术、富临精工 [3] - 前十大权重股合计占比为42.28% [3]