特斯拉FSD技术架构分析 - 特斯拉在ICCV分享的最新FSD技术架构仍属于大号端到端模型[3] - 行业前沿的VLA架构在机器人领域流行但特斯拉未采用引发技术路线讨论[3] 机器人与自动驾驶任务目标差异 - 机器人需理解通用语言指令完成任务目标而自动驾驶核心是导航任务[4] - 自动驾驶可直接获取高德或百度导航地图底层数据实现精确路径规划比语言表征更高效[4] 机器人与自动驾驶作业环境差异 - 自动驾驶在规则明确的道路上行驶场景相对单一复杂任务拆解需求少[4] - 驾驶操作多为本能反应无需语言分析仅在特殊场景调用VLM模型类似人类大小脑协作机制[4] 硬件限制对技术选择的影响 - 端侧硬件算力普遍低于1000 TOPS无法支持几B参数语言模型确保安全[5] - 视觉到语言再到动作的转换流程会浪费算力增加延迟百公里车速下0.1秒偏差即可导致车辆偏离车道[5] 特斯拉技术路径的优化策略 - 采用快慢思考逻辑端到端模型与VLM协同工作[5] - 绝大部分场景由端到端模型处理仅交规或非结构化道路等少数场景减速调用VLM[5]

文章核心观点 - MIT何恺明团队提出极简扩散模型架构JiT，让模型直接预测干净图像本身，而非预测噪声或混合噪声 [10] - 该方法在高维像素空间中表现更强、更稳、更简单，无需潜在空间、分词器、预训练或额外损失函数 [11][13] - 直接预测干净图像的任务更简单，因为自然图像位于低维流形上，而噪声是高维乱流，网络容量有限时预测噪声会导致模型崩溃 [14][15][17] 技术原理与创新 - 核心思想是让网络预测干净数据，而非噪声或混合噪声，通过数学推导证明直接输出干净图像可使任务更简单 [18][19] - 即使在高维场景如3072维patch（32×32×3）中，只有直接预测干净图像的方式不会崩溃 [20] - 框架仅使用Vision Transformer直接在原始像素patch上操作，输入输出均为像素patch，结构极简 [17] 模型性能与实验结果 - 在ImageNet 256×256分辨率上，JiT-L/16模型FID达到2.36，JiT-G/16模型FID达到1.82，与依赖复杂潜在空间的大型扩散模型性能相当 [30] - 在512×512分辨率下，JiT-H/32模型FID为1.94，JiT-G/32模型FID为1.78，证明在3072维高维patch下仍能稳定训练 [31] - 在1024×1024超高分辨率下，JiT-B/64模型FID为4.82，且计算成本几乎不随分辨率增加而上升，序列长度保持恒定 [32] 架构优势与反直觉发现 - 即使将patch embedding压缩至低维瓶颈（如32维甚至16维），模型不仅未崩溃，FID指标反而显著提升，与低维流形假设一致 [27][28][35] - 模型可处理高达12288维的patch（64×64×3），完全摆脱潜在空间，在原生像素空间自洽工作 [24][25] - 该方法特别适合需要处理原始高维数据的领域，如具身智能和科学计算，有望成为更通用的生成基础方式 [34]

大模型后训练范式转变 - 行业认为大模型后训练范式可能已从SFT+RLHF两阶段转变为RL Scaling+RL Alignment两阶段[3][4] - 新范式中RL Scaling阶段专注于在数学、代码等可验证任务上提升模型自我反思和推理能力，无需考虑指令跟随和可读性[4] - RL Alignment阶段负责轻微调整模型，在最小化推理能力损失的基础上实现与人类对齐的目标，包括指令跟随和可读性[4] 新范式技术优势 - 新范式基于结果奖励在可验证任务上进行强化学习，较好解决了传统后训练中奖励上升但性能下降的奖励黑客问题[5] - 新范式下token搜索自由度更大，并能激发大模型的自我反思能力，从而获得超强推理能力[5] - 数学、代码任务上的性能表现能很好地泛化到其他各类任务，显示出强大的可迁移性[5] 新范式带来的机遇与挑战 - 新范式使得后训练阶段能通过增加算力来提升模型表现，而旧的SFT+RLHF范式主要依赖数据，堆算力效果有限[5] - 行业面临如何利用无明确答案数据做RL Scaling、RL Scaling数据难度选择、RL Alignment阶段能力与安全权衡等机遇[7] - 新范式引发对模型安全的担忧，RL Scaling获得的能力可能涌现有害且隐蔽的推理，而人类数据比重减少可能增加安全隐患[5][6] - 尽管推理能力增强，但模型在准确理解用户意图、指令跟随和可读性方面仍有不足，影响实际使用效率[7]

文章核心观点 - 文章介绍了一个名为“具身智能之心”的社区，该社区致力于为具身智能领域的研究者、学生和从业者提供技术交流、资源汇总和学习平台 [1] - 社区已汇集近3000名成员，包括来自国内外知名高校和200多家具身相关公司与机构的专业人士 [17][85] - 社区内容覆盖行业研究、技术路线、算法、部署方案、求职内推等多个方面，旨在构建产业、学术、求职的闭环生态 [1][9][17] 行业资源汇总 - 社区汇总了行业内在具身大脑和本体研发方面活跃的公司及实验室，并包含行业研报以判断发展周期 [1] - 汇总了国内外具身智能领域的知名高校实验室，为升学和研究提供参考 [20] - 汇总了涉及教育、宠物、工业、救援、物流、交互、医疗等方向的国内外各类具身相关机器人公司 [23] - 汇总了大模型、人形机器人等行业的研报，以了解行业发展和工业落地情况 [25][26] - 汇总了机器人行业知名的零部件制造厂商，涉及芯片、激光雷达、相机、IMU、底盘等 [31] 技术内容与学习路线 - 社区收拢了VLA（视觉语言动作）模型的多方向路线，包括训练、无需训练方式、VLA+RL、VLA+世界模型、轻量化及部署等 [9] - 社区收拢了VLN（视觉语言导航）模型的方向，如时间语言、目标导航、点导航等 [9] - 社区汇总了近40+开源项目、近60+具身智能相关数据集、行业主流仿真平台及各类技术学习路线 [18] - 技术学习路线涵盖感知、交互、强化学习、VLN、VA/VLA、多模态大模型、Diffusion Policy、导航、规划控制、触觉感知、Sim2Real等近20个方向 [18][43][46][48][50][52][54][56][58][60][62][64][66][68][71][73][75] - 社区提供机器人导航、概率机器人、动力学与运动学、路径规划、视觉控制等多个方向的PDF书籍供基础学习 [28][29] 算法与部署方案 - 算法层面还涉及运控（强化学习、MPC、WBC）和仿真（通用、真实）等方向 [9] - 部署层面目前大多集中在云端推理，边缘侧基于索尔的VLA模型方案已逐渐落地 [9] - 小鹏等公司基于自研芯片已完成VLM/VLA的部署，但100T以下算力平台的部署方案较少 [9] 社区活动与平台功能 - 社区通过直播、圆桌论坛分享具身行业动态，主题覆盖数据采集、灵巧手、VLA模型、VLN模型、多传感器融合、操作系统、世界模型等前沿领域 [11][12] - 社区提供产业与项目相关的方案，并为求职者与多家公司建立岗位内推机制 [15][17] - 社区内部设有问答交流板块，成员可自由提问并获得来自产业界和学术界专家的解答 [77]

文章核心观点 - 英伟达、CMU和斯坦福团队提出了一种名为基于模型的策略自适应（Model-based Policy Adaptation, MPA）的新型框架，旨在解决端到端（E2E）自动驾驶模型在闭环评估中面临的性能下降问题 [1][2] - MPA框架通过利用高保真3D高斯溅射（3DGS）仿真引擎生成反事实数据，并训练基于扩散模型的策略适配器和多步Q值模型，显著提升了预训练E2E驾驶智能体在部署阶段的鲁棒性、安全性和泛化能力 [2][7][11] - 在nuScenes基准数据集上的实验结果表明，MPA在域内场景、域外场景及安全关键场景中均显著优于多种基线模型，尤其在路线完成率和综合驾驶评分等关键指标上提升显著 [33][34][35] 技术背景与问题定义 - 端到端自动驾驶模型在开环评估中表现出色，但在闭环环境中会因微小偏差累积导致的级联误差和分布偏移而出现性能下降，核心挑战在于离线训练的经验风险最小化与在线部署的累积奖励最大化目标不一致 [3][6] - 现有闭环评估方法存在局限性，例如缺乏闭环评估结果、仅在非照片级真实感仿真器中进行评估，或训练成本高且未充分利用价值评判器，且尚无工作在训练阶段纳入经过筛选的反事实数据 [5] - 性能下降的根本原因被归结为观测不匹配（训练与部署阶段的传感器输入差异）和目标不匹配（离线模仿学习缺乏有意义的长期奖励反馈） [6][9] MPA方法框架 - MPA框架包含三个核心组成部分：基于世界模型的反事实数据生成、基于扩散模型的策略自适应以及Q值引导的推理时间采样 [14][16][24] - 反事实数据生成流程利用几何一致的3DGS仿真器，对预训练E2E策略的预测动作进行随机增强（旋转角度范围[-10, 10]度，扭曲比例范围[0.1, 1.0]，随机高斯噪声标准差0.05），并通过类似波束搜索的算法筛选出奖励最高的候选轨迹 [16][18] - 策略适配器采用基于潜扩散过程的1D U-Net结构，以预训练基础策略的输出为条件，预测残差轨迹进行优化，推理阶段使用DDIM采样器生成多模态（例如8个模态）的适配后轨迹 [21][22][39] - 多步动作价值模型（Q值模型）基于四个可解释原则（碰撞、距离、路线、速度）独立训练，综合Q值为各单原则Q值的加权和，用于在推理阶段选择期望效用最高的动作 [25][26] 实验结果与分析 - 实验在nuScenes数据集和HUGSIM仿真基准上进行，评估分为域内场景（70个）、域外场景（70个）和安全关键场景（10个）三类设置 [27][30] - 主要评估指标包括路线完成率（RC）、无碰撞率（NC）、可行驶区域合规率（DAC）、碰撞时间合规率（TTC）、舒适性（COM）和综合HUGSIM驾驶评分（HDScore） [29][31][32] - 在域内场景中，基于MPA的智能体（如MPA(UniAD)）的路线完成率（RC）达到93.6%，HDScore为66.4，显著优于其预训练基础版本UniAD（RC 39.4%，HDScore 19.4）及其他基线模型 [33] - 在安全关键场景中，MPA(VAD)的路线完成率（RC）达到96.6%，HDScore高达74.7，远超预训练VAD的RC（25.4）和HDScore（16.0），证明了其在对抗性挑战下的有效性 [35][36] 消融研究与组件分析 - 消融实验表明，反事实数据生成的轨迹推演步数规模对性能有正面影响，更长的推演步数能为价值函数训练提供更丰富的未来步监督信号，帮助Q值模型更准确地评估长时域收益 [38] - 策略适配器的模态数量从1增加到8时，性能显著提升，超过8后提升趋于平缓，表明适当增加模态数量能有效覆盖更多反事实行为模式 [39] - 移除Q值模型的不同组件（如路径跟随Qc、车道距离Qd、避撞Qcol、速度合规Qspeed）会导致相关指标急剧下降，验证了各组件对保障闭环安全与性能的必要性 [40][42] 结论与未来方向 - MPA框架通过系统性的反事实数据生成、策略适配和价值引导，成功地将预训练开环E2E驾驶智能体适配为安全且具有泛化能力的闭环智能体 [41][43] - 当前工作的局限性包括对3DGS渲染质量的依赖、价值与策略模型的解耦设计以及实验场景覆盖范围有限（仅基于nuScenes数据集） [44] - 未来工作方向包括将MPA应用于更多多样化驾驶数据集、探索在线强化学习以实现价值模型与策略适配器的联合训练，以及将MPA部署到多模态基础模型中以增强对严重分布偏移场景的推理能力 [44][46]

文章核心观点 - 商汤科技旗下的智能驾驶业务单元“绝影”正寻求外部大额融资，这标志着其独立发展进入关键阶段，但面临严峻的融资环境和市场竞争[4] - 绝影在智能驾驶领域的发展面临多重挑战，包括技术理想主义与商业现实的错位、业务线庞杂且未能在主流平台成为首选、核心人才流失与频繁换帅、以及关键战略客户流失，导致其在智驾决赛圈中明显掉队[6][10][23][33] - 尽管在学术研究和前沿技术（如UniAD模型、“开悟”世界模型）上保有实力，但绝影在工程化落地、量产交付和商业变现方面能力不足，收入主要依赖低附加值的座舱产品（如DMS/OMS），高附加值智驾方案量产遇阻[14][19][24][31] - 绝影的未来可能在于转型，例如依托商汤在AI大模型和视觉算法的基础，向智能座舱多模态交互、AI基础设施或L4业务等新叙事方向寻找出路[32][35] 中国智能驾驶行业竞争格局 - 行业玩家主要分为三类：科技大厂孵化的事业部（如华为引望、大疆卓驭、百度阿波罗、商汤绝影）、汽车大厂孵化或整合的子公司（如长城毫末、奇瑞大卓、吉利千里）、以及大厂明星背景的创业公司（如地平线、Momenta）[6] - 科技大厂拥有技术底蕴和论文刷榜能力，汽车大厂拥有工程师资源和量产订单优势，而创业公司则在团队组建、融资和获取客户信任上面临更多挑战[6][7] - 行业融资环境明显收窄，市场上可获得的资金屈指可数，随着标志性融资事件（如卓驭获36亿融资）和公司动荡（如毫末停工），智驾战场进入“伤停补时”阶段，留给剩余玩家的时间不多[4][5] 商汤绝影的发展困境与挑战 - **组织文化与基因**：商汤是研究型组织，有浓厚的“科学家理想国”氛围，重科研成就、轻商业落地，这种基因深刻影响了绝影，使其业务出发点常是挑战性技术课题而非严密商业论证[12][13][16] - **业务布局与战略摇摆**：业务线一度非常庞杂，覆盖智能座舱、智能驾驶（多平台布局）、AI云服务，但资源无法与华为等大厂相比[14][15]；在智驾方案上被动收敛，早期布局的TI TDA4、地平线J5方案均因成本、性能或交付问题被放弃或边缘化，未能卡位主流供应链[24][26] - **人才与交付问题**：智驾VP层频繁换帅，原副总裁石建萍调岗，接任者王伟宝空降后离职，后续加入的王俊平负责的东风项目也迟迟未落地[27]；内部存在算法团队与工程团队的“高墙”，工程化能力不足，量产交付屡受考验[27][31] - **客户与市场边缘化**：客户虽多但多为“二供”或“三供”，唯一的核心“一供”客户哪吒汽车因经营危机进入重组[28]；尝试向一汽、广汽、东风、奇瑞等主机厂推进项目，但或因感知不达标、或因合作方解散等原因未能成功，接连退守[28][29] 绝影的财务状况与融资努力 - 商汤科技自上市以来累计亏损超过500亿元[31] - 绝影收入达“小数亿元”级别，但绝大部分来自单价百元左右的DMS/OMS系统，而非高附加值的中高阶智驾方案[10][31] - 曾尝试向北方某央企主机厂和南方某国资主机厂融资，但均告失败：北方主机厂选择战略入股其他头部算法供应商；南方主机厂则因绝影估值过高、量产实力不强以及附加返投条件等原因未能达成[34] 绝影的潜在价值与转型可能 - 商汤在视觉算法与大模型上的积累，使绝影在智能座舱多模态交互、AI大平台等前沿领域仍保有竞争力[32] - 绝影负责人王晓刚认为，未来核心壁垒不在算法本身，而在AI基础设施建设，只要AI不断演进，绝影对主机厂就有价值[35] - 商汤集团已开启“1+X”架构，旗下业务单元独立融资，除绝影外，商汤医疗、零售、服务机器人及最新剥离的AI推理芯片业务“曦望”均已获得融资，其中曦望获得10亿元量级融资[35] - 绝影正在尝试通过L4业务（如小巴、清扫车）和AI基座（大模型和算力卡）构建新的发展叙事[35]

3DGS技术发展现状与市场需求 - 3DGS技术迭代速度远超想象 已从静态重建3DGS、动态重建4DGS、表面重建2DGS发展到前馈式3DGS[1] - 该领域在学术界和工业界均受到高度重视 但学习者面临缺乏系统学习路径的挑战[1] 课程内容与结构设计 - 课程旨在提供从原理到实战的系统学习路线图 全面覆盖3DGS技术栈[1] - 课程大纲共分六章 从背景知识、核心原理到前沿研究方向及行业应用 循序渐进[3] - 课程采用离线视频教学 配合VIP群答疑及三次线上集中答疑[12] - 课程进度安排明确 自12月1日开课 预计两个半月结课 各章节按计划解锁[12] 核心技术模块详解 - **第一章**：涵盖计算机图形学基础 包括三维空间表达、渲染管线、光线追踪及辐射场渲染 并介绍COLMAP、Gsplat等主流开发工具 附带基于3D Real Car的训练实战作业[5] - **第二章**：深入讲解3DGS原理与核心算法伪代码 覆盖动态重建、表面重建、鱼眼重建及光线追踪的经典与最新算法 实战采用英伟达开源3DGRUT框架[6] - **第三章**：聚焦自动驾驶仿真重建 解析Street Gaussian、OmniRe及Hierarchy UGP三篇核心工作 实战使用学术界与工业界广泛采用的DriveStudio[7] - **第四章**：探讨COLMAP扩展、深度估计及重光照等3DGS重要研究方向 并分析其工业界应用与学术前景[8] - **第五章**：梳理前馈式3DGS的发展历程与算法原理 重点讲解AnySplat和WorldSplat两篇最新算法工作[9] 课程附加价值与面向人群 - 课程包含线上答疑讨论环节 将探讨3DGS岗位需求、行业痛点及开放性问题[10] - 课程面向具备一定计算机图形学、视觉重建、概率论、线性代数及Python/PyTorch基础的学习者[14] - 学习者需自备GPU 推荐算力在4090及以上[14] - 完成课程后 学习者将掌握3DGS完善的理论知识、技术栈及算法开发框架 并能与学界及业界同行持续交流 对实习、校招和社招均有助益[14] 讲师背景与课程推广 - 讲师Chris为QS前20院校硕士 现任某Tier1厂商算法专家 从事端到端仿真、多模态大模型及世界模型等前沿算法预研与量产 拥有丰富的三维重建实战经验[2] - 课程提供早鸟优惠 名额仅限30名[2]

公司技术发展方向 - 基于视觉-语言模型开发场景描述与自然语言指令驱动的感知能力提升方案[2] - 跟进并探索视觉-语言模型等多模态前沿技术，研究其在感知、语义理解与跨模态对齐中的应用[6] - 负责基于Camera、LiDAR及多模态融合的感知算法开发与优化，工作方向包括目标检测、语义/实例分割、目标跟踪与三维重建等[6] 行业人才需求与招聘趋势 - 招聘要求计算机或相关专业本科以上学历，熟练掌握深度学习及计算机视觉相关基本算法[6] - 优先考虑在自动驾驶行业有实习经验的候选人[3] - 优先考虑能实习6个月及以上的候选人[3] - 优先考虑熟悉PyTorch等深度学习框架、对深度学习有深入了解的候选人[6] - 优先考虑熟悉并行计算或CUDA编程、或具有图像处理方面经验的候选人[6]

文章核心观点 - 提出一种基于约束流匹配的新型端到端自动驾驶规划框架GuideFlow，旨在解决多模态轨迹生成中的模式崩溃问题，并通过显式约束嵌入确保轨迹的安全性和物理可行性 [2][3][9][10][11] - 核心创新在于将流匹配与基于能量的模型训练相统一，并直接将显式约束嵌入生成过程，同时引入驾驶激进度参数作为控制信号，实现对轨迹风格的精准调控 [3][11][33] - 在多个主流自动驾驶数据集上的实验验证了其有效性，特别是在高难度场景Navhard上取得了当前最优性能，EPDMS分数达到43.0 [3][15][37] 背景回顾 - 端到端自动驾驶已成为传统模块化流水线的有吸引力替代方案，通过构建可微分统一系统支持跨任务推理，减轻级联误差问题 [9] - 规划技术从单模态向多模态轨迹生成演进，但基于模仿学习的方法易出现模式崩溃，即多模态输出向单一主导模式收敛 [9][10] - 生成式方法如流匹配和扩散模型能表征完整轨迹分布，但采样过程的高随机性和方差给保证安全约束带来根本性挑战 [10] 算法详解 - 框架包含三个核心模块：感知条件速度场生成器、无分类器引导注入驾驶意图与风格、安全约束采样过程 [18] - 感知模块通过查询BEV特征生成智能体令牌和地图令牌，并利用交叉注意力操作实现场景条件建模 [20][21] - 采用无分类器引导训练框架，以概率掩码条件输入，并通过引导尺度控制条件信号对运动的影响强度 [22][23][24] - 约束生成通过三种互补机制实现：速度场约束主动修正运动方向，流状态约束采用类截断策略修正偏离路径，EBM流优化将约束执行融入能量图景 [25][28][29][31][32] 实验结果分析 - 在NavSim数据集的高难度子集Navhard上，集成评分器后GuideFlow取得SOTA性能，EPDMS得分达43.0，较此前最佳结果提升1.3分 [3][15][37] - 在Bench2Drive数据集上，GuideFlow的驾驶分数达75.21，成功率达51.36%，优于多数端到端自动驾驶基线模型 [35][39] - 在开环测试数据集NuScenes和ADV-NuScenes上，GuideFlow实现最低碰撞率，分别为0.07%和0.73%，在短时域预测中表现出高可靠性 [40][41] 消融实验 - 不同动态条件信号中，基于规划锚点引导的模型变体表现最优，EPDMS得分为29.0，驾驶分数达75.21 [43] - 三种约束生成模块均能提升性能，流状态约束和EBM流优化组合使用时效果最佳，EPDMS得分为27.1 [44][45] - 引入激进度评分作为风格条件可调节轨迹激进度，但无差别鼓励激进行为会损害安全约束，导致EPDMS评分下降 [45][46]

行业技术趋势与人才需求 - 端到端自动驾驶技术是当前车企的核心招聘方向，但具备量产经验的全栈人才稀缺 [1] - 技术层面需攻克导航信息引入、强化学习调优、轨迹建模与优化等难题，这些是目前量产工作的前沿 [1] - 行业对具备从模型优化、场景优化、数据优化到下游规划兜底等全栈能力的端到端人才需求迫切 [1] 课程核心内容与结构 - 课程核心算法涵盖一段式端到端、两段式端到端、导航信息量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等 [3] - 课程设计聚焦量产实战与就业，包含从算法框架到具体量产经验的完整链条 [3] - 课程采用小班制，仅限35个招生名额 [3][5] 讲师背景 - 讲师王路拥有C9本科和QS50博士学历，发表多篇CCF-A/B论文 [6] - 现任国内顶级Tier1算法专家，从事大模型、世界模型等前沿算法的预研与量产工作 [6] - 具备丰富的端到端算法研发和实战经验，其研发的算法已成功落地量产 [6] 详细课程大纲 - **第一章：端到端任务概述** 介绍感知任务一体化架构、规控算法学习化方案，以及开源数据集与评测方式 [9] - **第二章：两段式端到端算法** 讲解两段式框架建模、感知与PNC信息传递、优缺点，并以PLUTO算法实战 [10] - **第三章：一段式端到端算法** 介绍基于VLA、Diffusion等方法的一段式框架，并通过VAD系列深入教学 [11] - **第四章：导航信息的量产应用** 讲解主流导航地图格式、内容，及其在端到端模型中的编码与嵌入方式 [12] - **第五章：自动驾驶中的RL算法介绍** 重点介绍强化学习算法及训练策略，以弥补纯模仿学习的不足 [13] - **第六章：端到端轨迹输出优化** 进行NN Planner项目实战，涵盖基于扩散模型、自回归的模仿学习及后续的强化学习 [14] - **第七章：兜底方案 - 时空联合规划** 介绍量产中用于轨迹平滑与优化的后处理算法，如多模态轨迹打分搜索 [15] - **第八章：端到端量产经验分享** 从数据、模型、场景、规则等多视角分享量产实际问题解决经验 [16] 课程安排与学员要求 - 课程于11月30日开课，为期三个月，采用离线视频教学，辅以VIP群答疑和三次线上答疑 [17] - 章节内容按周解锁，从第一章到第八章持续至次年2月24日 [17][19] - 面向进阶学员，建议自备算力在4090及以上的GPU，并熟悉BEV感知、视觉Transformer、强化学习、扩散模型等理论基础及Python/PyTorch、mmdet3d框架 [18]