Workflow
视觉语言动作模型
icon
搜索文档
机器人感知大升级!轻量化注入几何先验,成功率提升31%
量子位· 2025-09-28 11:54
当前基于显式深度输入的增强方案虽有效,但依赖额外传感器或深度估计网络,存在部署难度、精度噪声等问题。 Evo-0团队 投稿 量子位 | 公众号 QbitAI 在机器人学习领域,如何让AI真正"看懂"三维世界一直是个难题。 VLA模型通常建立在预训练视觉语言模型(VLM)之上,仅基于2D图像-文本数据训练,缺乏真实世界操作所需的3D空间理解能力。 为此, 上海交通大学和剑桥大学提出一种增强视觉语言动作(VLA)模型空间理解能力的轻量化方法Evo-0, 通过隐式注入3D几何先验 , 无需显式深度输入或额外传感器。 该方法利用视觉几何基础模型VGGT, 从多视角RGB图像中提取3D结构信息 ,并融合到原有视觉语言模型中,实现空间感知能力的显著提 升。 在rlbench仿真实验中,Evo-0在5个需要精细操作的任务上,平均成功率超过基线pi0 15%,超过openvla-oft 31%。 Evo-0:实现2D–3D表征的融合 Evo-0提出将VGGT作为空间编码器,引入VGGT训练过程中针对3D结构任务提取的t3^D token。这些token包含深度上下文、跨视图空间对 应关系等几何信息。 模型引入一个cross- ...
人形机器人,更快更高更强
人民日报· 2025-09-01 01:03
行业销量与增长 - 今年人形机器人销量有望突破1万台 同比增长125% [1] - 产业正进入规模化落地阶段 已在工业制造 零售配送 餐饮服务等领域试点投入 [1] 政策支持与产业布局 - 具身智能首次写入政府工作报告 国务院提出培育智能原生新模式新业态 [3] - 北京设立总规模1000亿元政府投资基金 上海目标2027年具身智能核心产业规模突破500亿元 [3] - 杭州将人形机器人整机 软件算法及关键零部件列入重点科研项目支持范围 [3] 成本趋势与规模化路径 - 新一代关节模组价格从上千元降至百元区间 整机成本预计进一步下降 [4] - 规模化应用遵循工业先于物流 商用先于家用的路径 [4] 技术创新与硬件发展 - 硬件创新涵盖关节执行器 传感器等核心部件 技术路线趋向标准化 [3] - 谐波减速器 高功率密度电机 传感器发展提升关节模块和灵巧手设计水平 [7] - 高性能一体化力控关节支持叠衣服 取饮料等精细操作 [8] 算法与数据驱动 - 大模型发展推动运动能力 感知能力及智能水平快速突破 [7] - 视觉语言动作模型助力打造端到端决策系统 [7] - 高质量真实数据积累提升机器人场景应用能力 [8] 通信与定位技术支持 - 卫星导航定位 5G通信等技术支撑人形机器人发展 [8] - 时空算力背包提供北斗动态厘米级定位和多模型协同推理能力 [8] - 5G-A网络峰值达2.4Gbps 支撑环境交互 实时决策 精准定位等需求 [9] 产品性能与自主能力 - 优必选Walker S2拥有52个自由度 可稳定搬运15公斤负载并完成自主换电 [9] - 全自主模式需完成感知-决策-执行闭环 应对突发状况 [11] - 工业人形机器人实训效率达人类水平30%-40% [11] 应用场景拓展 - 工业场景已投入超过100台机器人实训 [11] - 家庭场景可提供健康管理 远程关爱等功能 [11] - 未来将在生产 服务领域扮演重要角色 实现人机协作与融合 [12]
元戎启行VLA模型三季度要量产,能否冲破市场+技术壁垒?
南方都市报· 2025-06-13 15:04
公司动态 - 元戎启行宣布VLA模型将于2025年第三季度推向消费者市场 并预计在年内上车五款车型 [1] - VLA模型具备四大"超能力":盲区破解 异形障碍物识别 路标解析 语音控车 [1] - 公司总部位于深圳 自2018年成立以来专注于自动驾驶和车联网技术 [3] - 2024年第四季度公司在城区高阶智能辅助驾驶供应商市场占据超15%份额 [6] - 2024年11月完成C1轮融资 获得一亿美元资金 [8] 技术突破 - VLA模型是视觉语言动作模型 具备全程可求导特性 解决传统智能驾驶的"黑盒问题" [3] - 模型能将推理过程清晰展示给用户 增强系统可解释性 [4] - 在复杂城市道路中能精准解读潮汐车道 可变车道等复杂规则 [6] - 通过技术优化在100TOPS算力的骁龙SA8650平台上实现复杂场景运行 降低成本 [7] 市场挑战 - 行业已进入激烈竞争阶段 需要突破华为 地平线 Momenta等品牌的包围 [8] - 近期辅助驾驶事故频发 消费者对产品可靠性要求更高 品牌依赖度提升 [8] - 100TOPS算力是否足以应对所有复杂城市路况尚未经过大规模验证 [8] - 自动驾驶行业融资环境降温 公司面临资金压力 [8] - 从L4降维至L2赛道 转向量产导向的硬件压缩 属于"轻量化突围"策略 [9] 行业趋势 - 车企愈发看重系统稳定性和成本 可能导致企业降价竞争 利润空间压缩 [9] - 长期投入的底层技术创新面临资金断流风险 可能影响后续技术优化升级 [9]