自动驾驶之心
搜索文档
中游智驾厂商正在快速抢占端到端人才......
自动驾驶之心· 2025-12-15 00:04
行业技术发展趋势 - 智能驾驶领域的技术焦虑正在产业链中游厂商间快速传播[1] - 业内认为,端到端等前沿技术的大规模量产起点将在明年[2] - 当前智驾前沿技术发展放缓,量产方案趋同,L2级智能驾驶正走下沉路线[2] - 随着明年L3法规的进一步推进,中游厂商面临迫切的技术升级压力[2] - 近期许多公司的算法负责人正积极寻求了解端到端、世界模型、VLA、3DGS等前沿技术[2] 市场与量产现状 - 中国二十万以上的乘用车年销量约为700万辆[2] - 头部新势力品牌在此价格区间的销量占比不及三分之一[2] - 已实现端到端技术量产的车型占比更低[2] - 端到端技术的成熟被视为开启更大规模量产的关键[2] - 地平线公司宣布将进军10万级市场,表明高阶智驾正迅速向更多国民车型下沉[2] 技术实施与人才需求 - 端到端自动驾驶不仅仅是一个算法,其落地需要完善的云端与车端基础设施、数据闭环、工程部署、闭环测试、模型优化及平台开发等全套能力[2] - 可以预见,市场对中阶智能驾驶相关岗位的需求将更加旺盛[2] - 端到端和VLA(视觉语言动作模型)领域的招聘需求预计将显著增长[3] 行业培训动态 - 为应对技术升级需求,市场出现了针对端到端和VLA技术的实战培训课程[3] - 相关课程由工业界与学术界的专家联合开展,聚焦量产落地[3] - 课程内容涵盖导航信息应用、强化学习优化、Diffusion和自回归模型量产经验、时空联合规划等核心模块[3] - 另有课程专门梳理BEV感知、大语言模型、扩散模型和强化学习在端到端领域的应用,并设计相关实战项目[6] - 针对VLA领域,有课程从VLM(视觉语言模型)解释器到模块化、一体化及推理增强VLA进行全面梳理,并包含从零搭建模型的大作业[11] - 课程讲师及团队背景雄厚,多来自国内顶级主机厂、Tier1供应商及顶尖高校,拥有丰富的算法研发、预研及量产交付经验[5][8][13][14]
复旦&上交最新!一篇长达40页的自动驾驶空间检索范式SpatialRetrievalAD
自动驾驶之心· 2025-12-15 00:04
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 现有自动驾驶系统非常依赖车载传感器进行实时精确的环境感知。然而,这种模式受行驶过程中的感知范围限制,在视野受限、遮挡或黑暗、降雨等极端条件下常出 现性能失效。相比之下,人类驾驶员即使在能见度不佳的情况下,仍能回忆起道路结构。为了让模型具备这种"回忆"能力,针对这个特点, 复旦可信具身智能和上交 等合作 ,将离线检索的地理图像作为额外输入引入系统。这些图像可从离线缓存(如谷歌地图或已存储的自动驾驶数据集)中轻松获取,无需额外传感器,是现有自 动驾驶任务的即插即用型扩展方案。 在实验中,首先通过谷歌地图API检索地理图像,扩展了nuScenes数据集,并将新数据与自车轨迹对齐。并在五个核心自动驾驶任务上建立了基准:目标检测、在线建 图、占用预测、端到端规划和生成式世界模型。其中在线建图mAP提升13.4%,占用预测静态类mIoU +2.57%,夜间规划碰撞率从0.55%降至0.48%,为复杂场景自动驾 驶提供低成本、高鲁棒的感知增强方案。大量实验表明,该扩展模态 ...
扒了一下今年各家具身公司的量产情况和订单金额......
自动驾驶之心· 2025-12-14 02:03
以下文章来源于具身智能之心 ,作者具身智能之心 具身智能之心 . 与世界交互,更进一步。具身智能之心是国内具身与机器人领域的专业技术平台,集企业咨询、在线教 育、展会服务、线下培训、硬件研发、技术方案为一体。 点击下方 卡片 ,关注" 具身智能 之心 "公众号 25年具身机器人量产的情况究竟是怎么样的?今年的答卷如何?具身智能之心也为大家做了一次 调研。 近期Atlas项目负责人在社交媒体上爆料:现代汽车承诺部署数万台Atlas机器人。 计划在未来几年内,在其制造和物流业务中部署数万台机器人,包括Atlas人形机器人、Spot四足机器人和 Stretch集装箱卸货机器人。针对量产能力的不足,作为传统汽车制造业的龙头,现代汽车近期还表示将整合汽 车制造领域的专业生产能力,助力波士顿动力扩大机器人产量。 看到这里,25年具身机器人量产的情况究竟是怎么样的?今年的答卷怎么样?具身智能之心也为大家做了一次 调研,已经放到我们的具身智能之心社区内,欢迎加入交流。 9月,其新一代工业机型Walker S2,拿下某国内企业2.5亿元订单,刷新了全球人形机器人单笔合同纪录。 2025年全球机器人量产订单 最近一直想盘下今年各 ...
自动驾驶之心在招募业务合伙人!
自动驾驶之心· 2025-12-14 02:03
联系我们 作为国内自动驾驶领域创作的技术平台,我们期望能够在这波激流中贡献自己的力量,成为一个真的能 给行业带来价值的平台。 众人拾柴火焰高,我们需要更多优秀的伙伴加入我们。 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 岗位说明 大家好,我是柱哥。最近收到很多小伙伴的咨询和求助,希望我们能够联系更多的技术专家分享业内最 新的动态和观点。自动驾驶已经进入下半场,行业的难点和痛点需要更多有志之士参与进来一起突破。 后面我们将陆续为大家增加圆桌访谈、实战&工业级课程、咨询等各类输出。 主要面向自动驾驶培训合作(B端主要面向企业和高校、研究院所培训,C端面向较多学生、求职类人 群)、课程开发和原创文章创作。 主要方向 包括但不限于:自动驾驶产品经理、4D标注/数据闭环、世界模型、VLA、自动驾驶大模型、强化学 习、端到端等多个方向。 待遇与合作方式,欢迎添加微信wenyirumo做进一步沟通。 ...
理想下一步的重点:从数据闭环到训练闭环
自动驾驶之心· 2025-12-14 02:03
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 理想汽在ICCV'25期间也分享了些新东西!目前还没有视频对外。 VLA团队负责人詹锟老师做了一场世界模型的presentation,名为World Model: Evolving from Data Closed-loop to Training Closed-loop。自动驾驶之心第一时间做了解 读分享给大家~ 首先是介绍下理想VLA司机大模型: 回顾了理想汽车智能驾驶的发展路线,从规则时代的轻图和无图,再到基于AI的E2E+VLM快慢双系统和VLA, 这四个方案中Nav(导航)是重点突出的模块。 下面介绍的是数据闭环的价值。左上角这张图是一个完整的数据闭环流程: 影子模式验证→经由数据触发回传到云端进行数据挖掘→有效样本进行自动标注→生 成训练集训练模型→模型下发验证性能。 这个过程已经可以做到一分钟的数据回传。 目前已经有15亿公里的驾驶数据,200+的Trigger来生产15-45s的Clip数据。 目前理想的端到端量产版本MPI已经到了220+, ...
2025年还存活的自动驾驶公司......
自动驾驶之心· 2025-12-14 02:03
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 近期一个比较明显的信号,L2渗透率狂奔,L3落地在即,L4规模破局。智能驾驶学术界和工业 界关注一直都很多,像端到端、VLA、世界模型、强化学习等等技术方向都还在快速发展。秋 招期间也有很多小伙伴咨询我们业内都有哪些公司,秋招打算看一看。 相比于前两年,有一些公司已经谢幕,有一些公司在合并/收购的路上,当然也有一些新势力异 军突起。自动驾驶行业正在经历新一轮的洗牌和资源整合。今天自动驾驶之心就为大家全面梳 理下2025年智能驾驶相关的公司,有新势力、主机厂、重卡、Robotaxi、Tier1等等,为大家带 来行业的全景图,助力大家选择。 看到这里,25年智能驾驶的落地情况如何?明年的趋势在哪里? 自动之心也为大家做了一次调 研,已经放到我们的专业社区内,欢迎加入交流。 1 新势力 蔚来、小鹏、理想、小米、零跑、滴滴、威马、牛创、极氪、阿维塔、岚图、千里科技、极越等 Tier 1 2 华为、百度、大疆、中兴、腾讯(智能座舱/高精地图/仿真工具链)、上汽零速、鉴智机器人、 momenta、博世中国、麦格纳、佑驾创 ...
最近前馈GS的工作爆发了,我们做了一份学习路线图......
自动驾驶之心· 2025-12-13 02:04
3DGS技术趋势与行业动态 - 特斯拉在ICCV的分享中引入3D Gaussian Splatting技术,基于前馈式GS算法实现,成为行业关注亮点[2] - 学术界跟进迅速,出现如小米的WorldSplat和清华的DGGT等新工作,表明3DGS技术正在自动驾驶领域焕发新一轮生机[2] - 技术迭代速度极快,已从静态重建3DGS发展到动态重建4DGS、表面重建2DGS以及前馈式3DGS[4] - 行业普遍共识是采用前馈式GS重建场景,再利用生成技术生成新视角,多家公司正为此开放HC招聘[2] 3DGS技术课程核心内容 - 课程由自动驾驶之心联合工业界算法专家推出,旨在提供从原理到实战的完整3DGS学习路线图[4] - 课程设计耗时两个月,全面覆盖3DGS技术栈,帮助学员吃透点云处理、深度学习理论并掌握实时渲染与代码实战[4] - 讲师Chris来自某Tier1厂商,是算法专家,从事端到端仿真、多模态大模型、世界模型等前沿算法预研与量产,拥有丰富的三维重建实战经验[5] - 课程为离线视频教学,辅以VIP群内答疑和三次线上答疑,开课时间为12月1日,预计两个半月结课[15] 课程详细大纲与结构 - **第一章:背景知识**:涵盖计算机图形学基础,包括三维空间的隐式/显式表达、渲染管线、光线追踪、辐射场渲染,并介绍COLMAP、Gsplat等开发工具,设置基于3D Real Car训练模型的小作业[8] - **第二章:原理和算法**:详细梳理3DGS原理及核心伪代码,讲解动态重建、表面重建、鱼眼重建和光线追踪的经典与最新算法,实战选用英伟达开源的3DGRUT框架[9] - **第三章:自动驾驶应用**:聚焦自动驾驶仿真重建,精讲浙大Street Gaussian、上交OmniRe和浙大Hierarchy UGP三篇工作,实战选用DriveStudio框架[10] - **第四章:研究方向**:探讨COLMAP扩展、深度估计及Relighting等重要研究方向,分析其工业界服务价值与学术探索意义[11] - **第五章:前馈式3DGS**:梳理前馈式3DGS的发展历程与算法原理,讲解最新的AnySplat和WorldSplat算法工作[12] - **第六章:答疑讨论**:通过线上交流形式,讨论3DGS岗位需求、行业痛点及开放性问题[13] 课程面向人群与学习收获 - 面向具备一定计算机图形学基础,了解视觉重建、NeRF、3DGS等技术,并拥有概率论、线性代数及Python、PyTorch语言基础的学员[17] - 学习收获包括掌握3DGS完善的理论知识及相关技术栈,掌握算法开发框架并能训练开源模型,获得与学术界及工业界同行持续交流的机会,对实习、校招、社招均有助益[17] - 学员需自备GPU,推荐算力在RTX 4090及以上[17] - 课程提供早鸟优惠,名额仅限30名[5][18]
可能是第一家年销百万的新势力!?
自动驾驶之心· 2025-12-13 02:04
公司业绩表现 - 2024年第三季度,公司共销售新车17.4万辆,同比增长101.77%,环比增长29.63% [3][8] - 2024年第三季度,公司实现净利润1.5亿元,继半年度盈利后再度实现单季盈利 [4][8] - 截至2024年第三季度末,公司在手资金达339.2亿元,并保持正向的经营现金流与自由现金流 [4][8] - 2024年第三季度,公司收入创下新高,达到194.5亿元,同比增长97.3% [11] - 2024年11月15日,公司年度累计销量突破50万辆,提前一个半月完成原定全年目标 [5] 财务与运营指标 - 2024年第三季度,公司单车收入从第二季度的10.6万元提升至11.2万元 [12] - 2024年第三季度,公司毛利率从第二季度的13.6%回升至14.5%,较去年同期的8.2%提升了4.3个百分点 [12] - 2024年第三季度,公司毛利达到28.2亿元,同比增长45%,环比增长248% [12] - 2024年第三季度,公司研发费用和管理费用创下新高,分别为12.1亿元和6.3亿元,较上一季度分别增加1.2亿元和2.2亿元 [14] 销量目标与增长 - 公司创始人提出2025年销量目标为冲击100万辆,较2024年预计的50-60万辆几近翻番 [5] - 2024年8月,公司将2025年全年销量目标从年初的50-60万辆上调至58-65万辆 [18] - 公司第100万台整车于2024年9月25日下线,从第50万辆到第100万辆用时不到一年 [21] - 公司月销量接连突破5万辆、6万辆,并在2024年第四季度首月突破7万辆大关 [3][8] 产品战略与布局 - 公司规划了A、B、C、D四大产品系列,覆盖从低到高的价格区间及轿车、SUV、MPV等车型 [9] - C系列(如C10、C11、C16)是销量主力,在总销量中占比约七成 [12] - B系列首款轿车B01起售价不到9万元,上市次月起月销量便突破万辆 [11] - 2025年,公司将完成A、B、C、D四大产品线的全面布局,计划推出2-3款D系列新品及2款A系列新品 [23] - D系列首款旗舰SUV D19已于2024年10月中旬首秀,A系列首款车型A10将于2024年11月广州车展亮相 [23] - 专为年轻人打造的全球车型Lafa5将于2024年11月27日正式上市 [23] 核心竞争能力 - 公司成功的关键在于“全域自研”的供应链模式、极强的成本控制能力以及“技术普惠”的产品定价理念 [4][8] - 公司平台化水平高,B系列零部件通用率高达88%,规模效应能高效反哺财务数据 [12] - 公司经营理念务实,旨在成为年销数百万级的世界级电动车企,类似于燃油车时代的大众、丰田 [8] - 公司产品遵循“好而不贵”的一贯风格,即便是高端D系列也延续“产品很豪华,价格不豪华”的理念,以成本为核心定价 [26] - 公司在用户洞察和产品定义上更加成熟,清楚用户的刚需、补充性需求及个性化需求 [27]
南洋理工&哈佛提出OpenREAD:端到端RL统一认知与轨迹规划
自动驾驶之心· 2025-12-13 02:04
文章核心观点 - 南洋理工大学与哈佛大学联合提出名为OpenREAD的全新框架,旨在通过强化学习全面提升视觉语言大模型在自动驾驶领域的推理与规划能力[4] - 该框架的核心创新在于,通过引入大语言模型作为“评判专家”,将强化学习的应用范围从传统的、可验证的轨迹规划任务,成功拓展至“驾驶建议”、“场景分析”等开放式知识学习任务,实现了高层语义推理与低层轨迹规划的端到端协同强化微调[6] - 实验结果表明,该框架在驾驶知识评测和轨迹规划任务上均取得了当前最优的性能,证明了协同学习驾驶知识与轨迹规划的必要性和有效性[6][17][28] 方法 - **数据准备与冷启动**:为应对开放式知识学习的奖励设计挑战,研究构建了带显式思维链的驾驶知识数据,并将OmniDrive数据集转换为适用于强化学习的“思考+回答”格式[7][8][9]。随后利用带思维链的数据进行监督微调,为模型提供冷启动,使其获得基础的思考与推理能力[12] - **引入大语言模型作为奖励函数**:在强化学习微调阶段,引入Qwen3-LLM作为“评判专家”,由其判断模型生成答案与参考答案是否一致,并给予0或1的奖励[12]。同时,计算生成答案与参考答案的嵌入向量余弦相似度作为额外奖励,形成“专家判断+语义相似度”的双重奖励机制,以鼓励模型输出既正确又简洁的高质量回答[12] - **驾驶知识与轨迹规划的协同训练**:框架将强化学习同时应用于驾驶知识推理与轨迹规划任务[13]。对于轨迹规划,设计了基于轨迹误差的奖励函数,对近距离时间点的误差要求更严格,对远距离误差更宽容,以平衡安全性与规划精度[13]。在训练中,为批次内不同类型的任务分别计算奖励,最后综合用于更新模型参数,促使模型在知识推理与路径规划间建立联系[13] 实验结果 - **协同训练效果验证**:在LingoQA和NuScenes数据集上的实验表明,仅使用轨迹规划任务时,强化学习微调带来的提升有限[17]。随着引入驾驶知识数据进行协同训练,强化学习微调的效果显著增强[17]。在最终使用轨迹规划、伪轨迹分析和LingoQA数据协同训练2个周期后,强化学习微调模型在轨迹平均L2误差、碰撞率和知识评测上均超越了监督微调模型[19]。具体表现为:平均L2误差从监督微调的0.44米降至0.40米,平均碰撞率从0.18%降至0.11%,LingoQA知识评测准确率从68.0%提升至68.8%[19] - **轨迹规划性能对比**:在NuScenes开环评测中,OpenREAD的轨迹规划性能优于多种现有方法[20]。其3秒时的L2误差为0.63米,平均碰撞率为0.11%,在碰撞控制方面表现出色,保证了驾驶安全性[21]。与同样使用GRPO进行强化学习微调的AutoVLA相比,OpenREAD在轨迹误差和碰撞率控制上均更优,突显了引入驾驶知识对下游任务的重要性[20] - **驾驶知识评测对比**:在LingoQA驾驶知识评测中,OpenREAD取得了当前最优的表现,其Lingo-Judge准确率达到68.2%,超过了其他对比模型如ReCogDrive(67.8%)和WiseAD(60.4%)[22]
深扒PI*0.6迭代式强化学习来源:VLA+在线RL实现具身进化
自动驾驶之心· 2025-12-13 02:04
文章核心观点 - 视觉-语言-动作模型与在线强化学习的结合已成为具身智能领域极具前景的研究方向,能够使机器人通过自我探索实现能力进化,超越单纯模仿学习的局限 [3][8] - 星动纪元提出的iRe-VLA方法通过“分而治之,动静结合”的两阶段循环迭代流程,率先突破了VLA模型应用强化学习的困境,其工作被Physical Intelligence的π*0.6研究所引用,代表了该方向的前沿进展 [3][16][17][22] - iRe-VLA方法在仿真与真实世界实验中均展现出显著优势,包括训练稳定性高、能有效学习新任务并提升泛化能力,同时通过合理的算力分配兼顾了经济性与实用性 [44][46][48][57][63] 一、VLA+RL的重要性与难点 - **重要性**:仅靠模仿学习无法应对未见情况或数据不完美,机器人难以达到鲁棒、持久工作;在线强化学习允许智能体通过试错发现更优解,是实现能力突破的关键 [8] - **应用难点**: - **环境差异**:物理世界任务周期长、奖励稀疏,学习困难 [21] - **模型稳定性**:直接对数十亿参数的VLA模型进行在线强化学习易导致灾难性遗忘或训练崩溃 [21] - **算力负担**:对大规模模型进行全量梯度更新超出本地机器人控制器的算力极限 [21] 二、行业解决方案与iRe-VLA的创新 - **行业解决方案类型**: - **外挂式干预**:如V-GPS、DSRL,通过外部价值函数或噪声引导冻结的VLA,但模型本身未发生质变 [22] - **暴力美学**:如VLAC,直接用PPO等算法全量微调VLA,易导致模型坍塌且算力要求高 [22] - **探索到内化的循环**:以iRe-VLA为代表,利用监督微化将强化学习探索出的高价值行为内化为模型的原生能力 [15][22] - **iRe-VLA模型架构**:模型由负责理解与决策的VLM主干(大脑)和负责输出控制信号的轻量级Action Head(四肢)组成,并使用LoRA技术提高微调效率 [19][20] - **核心两阶段循环流程**: - **第一阶段(在线强化学习-探索)**:冻结VLM主干参数,仅训练轻量级的Action Head和Critic Head,使机器人能在本地(如单张4090显卡)稳定探索并发现成功轨迹 [25][29][31] - **第二阶段(监督学习-内化)**:解冻VLM主干,对整个模型进行全参数微调,训练数据混合了新的成功轨迹与原始专家数据,此阶段通常在云端服务器进行,以将新技能固化并防止遗忘旧技能 [32][37][39] 三、实验结果与分析 - **训练稳定性**:直接使用PPO微调VLA会导致成功率曲线剧烈震荡甚至性能下降,而iRe-VLA的曲线稳步上升,证明了分阶段冻结参数策略对稳定训练至关重要 [46] - **仿真环境性能**: - 在MetaWorld基准测试中,iRe-VLA在多项任务上成功率显著超越SFT和PPO-Replay方法,例如将Button-Press-new任务成功率从56%提升至100%,在未见的10个任务上成功率从51%提升至80% [48][50] - 在Franka Kitchen环境中,iRe-VLA同样表现优异,例如将Slide-door-open任务成功率从86%提升至99%,将Left-door-open任务成功率从43%提升至83% [50] - **真实世界性能**: - 在抓取未见物体(如茄子、胡萝卜)的任务中,仅靠专家数据微调的模型初始成功率约为35%,经过iRe-VLA在线学习后,抓取成功率提升至80% [54][57] - 模型展现出泛化能力,抓取完全未参与训练的第三类物体时,成功率也从37%提升至61% [57] - **消融实验**:证明第二阶段解冻VLM主干是必要的,否则模型性能提升会遇到瓶颈,解冻能利用大模型的深层特征表示能力来掌握复杂技能并提升泛化性 [56][58] 四、结论与意义 - **方法优势**: - **稳定性**:解决了大模型直接进行强化学习容易训练崩溃的问题 [63] - **经济性**:巧妙分配算力,本地进行轻量级探索,云端负责重量级消化,符合实际部署场景 [63] - **持续学习**:使机器人能在不遗忘旧技能的前提下,通过自我探索不断掌握新物体和新任务的操作技能 [63] - **行业前景**:iRe-VLA与π*0.6等研究揭示了VLA在线强化学习技术的发展前景,未来研究方向包括高效探索、稀疏奖励下的学习以及大规模VLA的稳定可扩展RL算法等 [62]