摩尔定律不仅体现在芯片算力上，也体现在整个计算机行业。一旦数据集固定下来，以现在的AI技术和庞大算 力，其测试指标的收敛速度也会越来越快。 这两天和星球大佬聊了下关于端到端和VLA的看法，感受颇深，分享给大家： 关于端到端的讨论 学术界的端到端现在是遍地开花的状态，什么流派都有，毕竟【端到端】只是一个范式，你只要实现用一个模型 把传感器输入和轨迹规划的输出串起来，这就是端到端。 所以做什么的都有。 但是，AI进入大模型时代后，相信大家都有一个共识，那就是数据集的迭代速度一定不能比技术迭代慢太多， 技术日新月异的时候，如果数据集反反复复还是那几个，那么毫无疑问数据集一定会阻碍技术的迭代。 所以才有一些研究团队在发论文的同时发布一个数据集，这样可以保持很长一段时间的高impact输出。 学术界的端到端现在处在方法远比问题多的状态。 工业界的端到端更加务实，车上的算力限制就能把相当一部分热门模型拒之门外。但是， 工业界最得天独厚的 优势就是有海量的数据，这给模型研发提供了无限可能。 要知道，chatgpt的成功很大程度上归功于互联网给了我们收集海量数据的机会。为什么超大规模transformer模型 率先在NLP领 ...

点击咨询匹配大牛导师 1. 传统模块化架构的时代： 早期的自动驾驶系统（L2-L4级）普遍采用模块化设计。每个模块（如 物体检测、轨迹预测、路径规划）被独立开发和优化。 优势： 逻辑清晰，各模块可独立调试和 验证，具有较好的可解释性。 瓶颈： 错误累积效应： 上游模块的微小误差会逐级传递并放大， 影响最终决策。 信息损失： 在模块间传递的结构化数据（如3D框、轨迹点）会损失原始传感器 信息中的丰富细节。 规则的局限性： 依赖大量人工设计的规则和参数，难以应对复杂、长尾的 交通场景（Corner Cases）。 2. 纯视觉端到端（模仿学习）的兴起： 以NVIDIA的DAVE-2、Wayve等为代表，研究者们尝试使用 深度神经网络，通过模仿学习（Imitation Learning）的方式，直接从人类驾驶员的驾驶视频和操 作数据中学习"像素到行为"的映射。 优势： 简化了系统架构，能从数据中自动学习复杂的驾驶 策略，无需繁琐的规则设计。 瓶颈： "黑箱"问题与可解释性差： 模型决策过程不透明，难以理 解其做出特定行为的原因，这对于安全至关重要的自动驾驶是致命缺陷。 因果混淆（Causal VLA绝对是今年自动驾 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Hongyin Zhang等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 如今，基于流匹配的视觉-语言-动作（VLA）模型已经能帮机器人完成不少操控任务了，像 这类模型，凭借轨迹级建模能力在常规场景里表现还不错，就连 RT-1、PaLM-E 这些大规模预训练模型，也证明了从多模态数据里学通用策略是可行的。 可一碰到复杂的下游任务，比如要在动态干扰下精准抓东西，这些模型就有点 "力不从心" 了——动作精度掉得厉害。说到底，问题出在它们 "学东西的方式" 上：现在的 VLA 流模型全靠模仿学习做后训练，就像只会照搬别人动作，没法分清哪些训练数据质量更好、哪些策略更适合当前任务。而强化学习（RL）本来 就擅长挖掘这些数据质量特性，可之前的离线 RL 方法，比如 ReinboT，在 VLA 流模型上效果并不好，因为这类模型是靠向量场建模整个动作轨迹的，ReinboT 只能间接指导动作生成，效 ...

机器人操作 - 机器人操作从机械编程演进至具身智能阶段 聚焦多指灵巧手与AI赋能的数据采集和技能学习框架[6] - 灵巧操作依赖模拟器 人类演示和遥操作三种数据采集范式 结合模仿学习和强化学习框架[6] - 面临三大关键挑战 包括高质量数据集缺乏 静态学习框架鲁棒性不足 端到端学习泛化性受限[6][13] 具身导航与操作 - 导航任务从显式记忆转向隐式记忆 操作任务从强化学习拓展至模仿学习 扩散策略及VLA模型[13] - 物理模拟器分为室内型 Habitat AI2-THOR 室外型 CARLA AirSim 和通用型 ThreeDWorld Isaac Sim[12][13] - 操作模拟器包括经典物理引擎 MuJoCo PyBullet 和可微分物理引擎 Dojo Genesis[13] - 评估指标采用成功率 SR 和路径效率 SPL 操作任务使用SO(3)/SE(3)等变表示[13] 具身多模态大模型 - 由具身智能体 大语言模型 GPT系列 大视觉模型 ViT 和视觉语言模型 CLIP 构成基础架构[17] - 覆盖具身感知 导航 交互 仿真四大核心任务 感知分为GPT与非GPT模型 导航分通用与专用模型[17] - 使用Open X-Embodiment和HM3D等数据集 面临跨模态对齐难 计算资源消耗大 领域泛化性弱等挑战[17] 强化学习应用 - 采用RLHF DPO RLVR三种对齐范式 结合PPO和GRPO策略优化算法 通过KL正则约束政策偏移[24][26] - 应用于多模态大语言模型 视觉生成 统一模型和视觉-语言-动作模型四大方向[26] - 评估体系包含集合级 FID 样本级 RLHF奖励 和状态级 KL监控 配套SEED-Bench-R1等基准[26] 遥操作技术 - 系统架构包含人类状态测量 运动重定向 机器人控制和多模态反馈 支持单向或双向操作[30][32] - 运动重定向采用完整动力学模型与简化模型 LIPM 通过ZMP/DCM保证平衡[30] - 应用远程存在和危险作业场景 面临非专家操作门槛高 动态环境适应难 长延迟稳定性差等挑战[33] 视觉-语言-动作模型 - 涵盖80多个近三年发布的VLA模型 涉及架构创新 参数高效训练和实时推理加速等进展[31][34] - 按架构分为单体模型 Monolithic 与分层模型 Hierarchical 从结构与功能双维度分析[39] - 发展历程划分为萌芽 探索和快速发展三阶段 使用互联网图文 视频 仿真和真实机器人数据训练[36] - 应用于类人机器人 自动驾驶 医疗与工业机器人 精准农业和增强现实导航等领域[31]

端到端自动驾驶算法研究背景 - 传统自动驾驶算法采用模块化流程：感知模块输入图像或激光雷达数据输出边界框，预测模块输出轨迹，最后进行规划[5][6] - 端到端算法直接输入原始传感器数据并输出路径点，路径点可转换为控制信号且回归相对容易[6] - 传统算法优点包括易于调试和问题定位，具有可解释性，但存在误差累积问题，无法保证感知和预测模块完全无误差[7][10] 端到端算法现有范式与局限性 - 模仿学习分为行为克隆和逆优化控制，强化学习方法在论文中较少见[11] - 评估方法分为开环评估（使用固定场景数据）和闭环评估（自车与环境存在交互）[11] - 模仿学习难以有效解决所有corner case问题，真值数据本身存在噪声，人类驾驶数据并非完全最优解[11] - 当前挑战包括可解释性问题、安全保证以及因果混淆现象，例如绿灯起步时误将旁边车道车辆起步作为启动信号[12] - 还需解决输入模态多样性、多任务学习及知识蒸馏等技术难题[12] ST-P3算法框架与创新 - 输入为环视相机图像，设计三个核心模块：感知、预测和规划，最终输出自动驾驶车辆轨迹[14] - 感知模块采用以自车为中心的累积对齐技术，预测模块通过双路预测机制实现，规划模块引入先验信息对生成轨迹进行优化[15] - 感知模块中结合预测的深度信息，采用类似LSS范式的方法得到BEV空间表示，创新点在于考虑RO角和PG角不为零的情况[18] - 预测模块采用双路结构，一路通过GRU进行递归处理，另一路引入高斯噪声进行前向迭代，两路输出融合得到T+10、T+20时刻状态特征[18] - 规划阶段利用前视相机获取红绿灯信息，并对预测轨迹进行优化，优化过程包括自车预测轨迹的代价函数和预测轨迹与真实轨迹之间的L2距离[19][20] UniAD算法框架与创新 - 采用全Transformer框架，以规划为导向构建端到端自动驾驶系统[25] - 引入五个代理任务（Head Task）通过增加任务数量提升性能，创新点在于规划导向设计[24] - Backbone部分与BVFormer相同获取BEV特征，MapFormer将Segformer的2D版本扩展至3D用于实例分割[26] - MotionFormer通过三种交互进行预测：Agent之间交互、Agent与地图交互、Agent与目标点交互，输出预测轨迹、特征及每条轨迹评分[26] - OccFormer利用MotionFormer的Agent级特征作为KV，BEV特征作为Q，计算实例级占用情况[26] - Planner输入包括自车运动轨迹特征、位置编码、OccFormer输出以及BEV特征，规划时需考虑未来占用情况确保选择可行区域[26] VAD算法矢量表征与约束 - 采用矢量化表征方法，将栅格化表征转换为矢量化形式，更好表达地图元素结构信息保持几何特性[32] - 矢量表征包含运动矢量（motion vector）和地图矢量（map vector），通过地图查询经地图变换器处理后预测地图矢量，通过智能体查询预测运动矢量[32][33] - 规划过程中引入三个主要约束：自车与他车之间碰撞约束（涉及横向和纵向距离）、自车与边界之间距离约束、自车方向约束（通过计算自车向量与车道线向量角度差确保行驶方向正确）[40] 概率化规划方法 - 规划是不确定性任务，确定性方法无法处理掉头等情况，概率化表征方法将规划流视为概率分布从而选择最优轨迹[43] - 实现借鉴类似GPT的ARP思想：初始化动作空间并离散化，规划词汇表收集4096种可能动作（如直行、加速、刹车、左转、右转等），编码后生成planning token[43] - 通过场景token与planning token交互，结合自车状态和导航信息，预测动作分布并选择概率最高的标准轨迹作为规划结果[44] GenAD生成式建模方法 - 将自动驾驶建模为轨迹生成问题，考虑自车与他车在未来帧中的交互，采用类似VAE的生成式建模思路[44] - 训练时学习轨迹分布，推理时采样分布并通过解码器生成路径点，关键点在于训练过程中构建有效的监督信号[44][45] - 训练阶段将GT的track query trajectory通过编码器编码得到latent space轨迹表征，通过解码器重构当前轨迹并与原始真值轨迹进行监督训练[45] 多模态规划与监督学习 - 引入多模态规划方法解决轨迹预测不稳定性问题，通过预测多个候选轨迹并选择最优轨迹进行模型学习[53] - 结合多模态规划与多模型学习方法，在多轨迹预测的模型学习损失基础上增加知识蒸馏损失，蒸馏损失来源于多种基于规则的教师模型[53] - 额外监督信号包括无责任碰撞、可行驶区域合规性、驾驶舒适性等指标，均纳入回归损失函数进行反向传播[56] 端到端算法当前局限性 - 主要采用模仿学习框架，作为纯数据驱动方法优化过程较为困难[57] - 难以学习到最优真值（Ground Truth），对异常案例（Counter Case）的处理能力有限[57]

强化学习技术范式演进 - 业界从端到端自动驾驶转向VLA和强化学习等新技术范式 [4] - 强化学习在2018年AlphaZero和2023年ChatGPT RLHF推动下获得更广泛应用潜力 [4] - 2025年初DeepSeek-R1在线推理进一步拓展强化学习使用场景 [4] 学习范式对比 - 监督式学习通过海量数据拟合输入到输出的映射函数 优化目标为平均均方误差值 [5] - 模仿学习以专家动作为监督信号进行行为克隆 在自动驾驶中扩展为短时序轨迹学习 [6] - 强化学习通过环境交互和任务结果反馈优化模型 采用延迟满足的时序决策机制 [7] - 逆强化学习通过用户反馈学习reward-model 解决奖励函数难以定义的问题 [8] 基础理论框架 - 马尔可夫决策过程将时序任务分解为状态概率转移任务 适用于自动驾驶目标生命周期管理 [10] - 动态规划通过分解最优子问题解决离散空间时序任务 [12] - 蒙特卡洛方法利用大数原理统计系统宏观特性 [13] 核心概念体系 - 策略分为确定性和随机性两种 自动驾驶通常采用确定性策略 [14] - 奖励函数提供环境反馈 价值回报定义为衰减因子加权和的时序期望值 [15] - 状态价值函数表示状态期望回报 动作价值函数评估状态动作组合的期望回报 [16][17] - 优势函数衡量动作价值与状态价值的差异 [19] - 贝尔曼方程通过动态规划分解价值函数 [20] 算法分类体系 - 值优化方法直接最大化Q或V函数 包括动态规划/蒙特卡洛/时序差分算法 [25][26] - 策略优化分为on-policy和off-policy两种 后者训练稳定性更好但存在分布偏差 [27][28] - 动态规划采用策略迭代和价值迭代算法求解离散任务 [30] - 蒙特卡洛方法通过统计平均估计价值函数 [32] - 时序差分算法引入常数alpha简化更新过程 衍生出SARSA和Q-learning等算法 [34][39] 深度强化学习算法 - DQN算法通过经验回放和目标网络解决连续状态表达问题 [41] - Dueling DQN将价值网络分解为Q和A的和并增加正则项 [42] - GAE算法结合蒙特卡洛和时序差分进行优势估计 [42] - 策略梯度算法使用梯度下降方式更新策略参数 [46] - Actor-Critic算法同时学习策略和价值函数 [49] - TRPO算法通过置信区间约束保证训练稳定性 [53] - PPO算法简化TRPO约束条件为clip函数 [55] - GRPO算法采用在线group样本统计平均替换value-model [57] 自动驾驶应用实践 - 预训练通过模仿学习任务初始化策略和价值网络 [58] - 策略梯度采用概率建模方法处理action输出 [59] - reward设计涵盖安全性/安心感/效率等指标 高级功能通过逆强化学习实现 [60] - 闭环训练需要多智能体博弈建模环境动态响应 [60] - 端到端强化学习需实时生成更新后的sensor内容 [61]

动态物体操作的技术挑战与现有方法局限 - 动态物体操作对运动规划的时效性和操作精度要求更高，需实时应对物体移动速度、轨迹变化等因素 [8] - 经典运动规划方法依赖复杂系统建模和参数调优，需针对不同场景定制设计，扩展性差 [11] - 现有模仿学习方法泛化能力依赖大量演示数据，但动态场景公开数据集极少且数据收集成本极高 [11] 基于熵的理论框架创新 - 通过信息熵分析将专家演示的联合熵分解为观测熵（衡量观测信息复杂度）和动作条件熵（衡量动作预测模糊性） [14][16] - 降低观测熵需剔除与动作预测无关的冗余信息（如物体外观、环境背景），保留核心几何结构 [16] - 降低动作条件熵需引入历史记忆解决信息不足问题，并用概率模型处理多模态动作分布 [16] GEM系统核心技术实现 - 采用目标中心几何感知模块：使用无颜色3D点云+实例ID作为输入，避免图像外观信息干扰，并通过实例分割去除环境背景点云 [24] - 开发混合动作控制模块：通过视觉伺服控制跟踪移动物体使其呈现"静态"，再通过递归概率网络生成操作动作 [24] - 记忆编码器通过Transformer解码器融合当前点云特征与历史记忆特征，采用高斯混合模型表示多模态动作分布 [27][29] 实验性能表现 - 在模拟场景中四项技能（抓取、放置、旋转、插入）平均成功率达83%，显著高于次优方法PI0*的57% [30] - 在真实场景中平均成功率达85%，其中抓取成功率92%、放置成功率96%、旋转成功率79%、插入成功率74% [31] - 在传送带速度0.25m/s时仍保持较高成功率（抓取81%、放置92%、旋转73%、插入48%），但在0.5m/s时失效 [38] 系统泛化能力验证 - 3D点云输入比图像输入在泛化任务中成功率高20%-30% [39] - 支持非直线运动（S形轨迹、随机曲线）且成功率保持在75%以上 [39] - 对未见物体（如食堂多样餐具）成功率仍达74%，且在四种机械臂上通用（成功率差异<5%） [39] - 仅用模拟数据训练在真实场景仍有76%抓取成功率，微调后提升至92% [39] 实际应用成效 - 在食堂餐具收集中7天内完成10,000+次操作，成功率97.2%，无需现场演示仅用100次模拟微调 [44] - 首次实现模仿学习在动态操作中的大规模实用化，突破动态场景数据收集成本高的瓶颈 [44]

行业活动与技术创新 - 全球首个以人形机器人为参赛主体的综合性竞技赛事——2025世界人形机器人运动会于8月15日在北京国家速滑馆开幕 涵盖26个赛项、487场比赛 吸引16个国家280支队伍、500余台机器人参赛 [1] - 桥介数物人形机器人在表演赛中通过Deepmimic算法实现协同舞蹈动作 该技术采用"模仿学习+强化学习"双阶模式 支持舞蹈、武术等复杂动作及定制动作 [1] - 技术实现路径包括通过动作捕捉获取人类运动片段 利用模仿学习复刻基础动作框架 再通过强化学习优化物理可行性以确保动作稳定性和流畅度 [1]

自动驾驶体验对比 - 理想VLA在园区内主副驾无人场景下表现优秀 具备基于语言指令的精准控制能力 但受限于封闭环境无法验证泛化能力 [1] - 与特斯拉FSD对比 北美用户认为FSD在自然度和拟人化驾驶方面更胜一筹 接近自动驾驶水平 而理想VLA在顺义路况下仍有明显"机器感" [1] - 公开道路测试显示 在非高峰期的顺义路况下 VLA在安心感/舒适度/效率上较L系列VLM有显著提升 但窄路和村庄场景表现欠佳 [2] 核心用户体验差异 - 红绿灯刹停过程表现出色 丝滑无顿挫感 显著优于普通驾驶者和多数竞品 形成明显代际差体验 [3] - 变道/超车等常规操作难以体现差异化 但刹车品质成为最易感知的优势项 类比"老司机"驾驶水准 [4] - 语音控车功能具备路线记忆和个性化设置能力 在L4实现前可形成独特用户体验优势 [10] 技术迭代路径 - VLA采用强化学习范式 相比VLM的监督学习具备四大迭代方向：仿真数据优化/芯片算力提升/模型参数量增长/语音工程优化 [7] - 强化学习在自动驾驶领域优势显著 奖励函数明确(安全/舒适/效率) 可针对具体场景持续优化 突破模仿学习的炼丹局限 [8][9] - 当前运行4B参数模型 未来7B/14B乃至100B参数模型将带来能力飞跃 芯片算力提升是关键支撑 [7] 产品化逻辑 - 技术团队需平衡模型能力与用户体验 互联网时代产品体验优先 AI时代需兼顾技术突破与体验优化 [10] - 自动驾驶首要目标是超越80%普通驾驶者 逐步向95%水准迈进 刹车品质成为首批达标的关键指标 [4]

行业核心观点 - 具身智能的AI能力不足是当前人形机器人行业面临的最大瓶颈 而非硬件问题[3] - 行业需重构VLA模型并寻求新的解决范式以突破感知 决策 执行的闭环断裂问题[4][7] - 强化学习和模仿学习需遵循Scaling law法则以实现机器人泛化能力和智能水平提升[4] 技术架构争议 - VLA模型被部分从业者质疑为"相对傻瓜式架构" 但仍是具身智能领域重要技术路线[3][5] - 当前最强通用机器人控制VLA模型π0仍无法有效运用全参数大型语言模型 且对数据要求极高[5] - 开源VLA模型OPEN VLA基于Llama2语言模型 参数规模为7B（70亿）相对较小[5] 系统协同挑战 - 人形机器人需要云端与终端算力协同分配 构建完整的"云网端"部署架构[6] - 理想技术体系需实现大脑（完整参数模型） 小脑（轻量化实时模型）和肢体的深度协同[5][6] - 当前大语言模型研究与端侧智能研究呈现割裂状态 未能有效融合[6] 三大核心痛点 - 感知局限：传统机器人依赖预设规则 难以理解复杂多变的环境动态性[5][6] - 决策断层：多任务切换需人工干预重新编程或调整策略[5][6] - 泛化瓶颈：面对新任务或场景需重新进行大量训练和调试[5][6] 发展前景与方向 - 2025年被行业普遍视为人形机器人量产元年 从业者从怀疑转向确信其产业重要性[7] - 需通过生物仿生等原创性研究提出具身智能基础模型新范式[7] - 行业发展依赖机制 理念 政策及从业者创新力的综合推动[7]