通用机器人

搜索文档
在复杂真实场景中评估 π0 这类通用 policy 的性能和边界
自动驾驶之心· 2025-08-17 03:23
核心观点 - PI0-FAST-DROID是一种通用机器人策略模型,能够在复杂真实场景中执行多样化任务,展现出强大的视觉-语言理解能力和适应性 [4][13][16] - 模型在透明物体识别、铰接物体操作等任务中表现优异,但存在空间推理不足、动作冻结等局限性 [20][48][39] - 通过300多次试验验证,模型平均任务完成度为42%,对提示工程和摄像头角度高度敏感 [77][12][61] 技术架构 - 采用Google DeepMind的3B参数PaliGemma作为视觉编码器,仅依赖未校准单目RGB输入(224x224像素) [19] - 基于FAST+动作标记器,预训练数据包含100万条真实机器人轨迹,在DROID数据集上微调 [79] - 硬件配置:Franka Panda机械臂+Robotiq夹持器,ZED 2立体相机+ZED Mini腕部摄像头 [79] 性能表现 优势领域 - 透明物体操作:成功抓取透明瓶子并完成放置任务,无需特殊重建技术 [20] - 复杂背景识别:在彩色棋盘背景中准确定位黄色鱼形物体 [21] - 人体干扰鲁棒性:侧视摄像头捕捉移动人体时仍能专注任务 [25] 主要局限 - 空间推理缺陷:无法精确判断容器高度导致放置失败率高达50% [48][50] - 动作冻结:30%试验因语义模糊或解码错误导致任务中断 [39][43] - 触觉反馈缺失:对精细物体施力不当,塑料瓶抓取失败率63% [58] 任务分类表现 - 拾取放置:平均完成度53.5%,透明物体成功率76% [82][20] - 铰接物体:抽屉操作成功率63%,但咖啡机操作仅8%进度 [91][111] - 人机交互:物体传递成功率62.5%,但握手任务完全失败 [109][115] - 织物处理:T恤折叠进度35%,报纸折叠成功率62% [99][107] 影响因素 - 提示工程:指令措辞变化可使成功率从0%提升至100% [61] - 摄像头依赖:腕部摄像头遮挡直接导致0%成功率 [67] - 数据偏差:无指令时默认抓取出现频率16.67%的记号笔 [63] 行业意义 - 首次实现开箱即用的跨场景策略部署,突破传统策略环境适应性瓶颈 [4][77] - 验证了视觉语言模型在具身智能领域的迁移潜力,为通用机器人开发提供新范式 [19][28] - 当前20-50%的任务成功率虽不足,但标志机器人技术从专用系统向通用系统的范式转变 [77]
在复杂真实场景中评估 π0 这类通用 policy 的性能和边界
具身智能之心· 2025-08-16 16:03
核心观点 - PI0-FAST-DROID是一种基于视觉语言模型的通用机器人策略,能够在复杂真实场景中处理新物体、新位置和新任务,展现出开箱即用的潜力,但性能受提示工程、摄像头视角和任务复杂度影响显著 [4][7][73] - 该策略在透明物体识别、部分遮挡鲁棒性和人类活动干扰处理方面表现突出,但在空间推理、多步骤任务协调和精细操作方面存在明显局限性 [18][24][46] - 通过300多次试验评估,平均任务完成进度为42%,成功率在简单任务中可达20-50%,标志着机器人通用化的重要进展,但距实际应用仍有差距 [73][75][78] 技术架构 - 采用Google DeepMind的3B参数PaliGemma作为视觉编码器,仅依赖未校准单目RGB输入(224x224像素)处理透明、伪装及未见物体 [18][19][26] - 使用FAST动作标记器,基于100万条真实机器人动作轨迹训练,支持跨本体泛化 [75] - 训练数据结合π跨本体数据集和Open X-Embodiment预训练,并在DROID数据集上微调 [75] 能力表现 - 透明物体操作:能稳定抓取透明瓶子并完成放入容器的精准操作,无需传统二维或三维重建技术 [19][26] - 复杂背景识别:在色彩鲜艳棋盘背景中成功识别并抓取形状奇特的"黄色鱼"物体 [20] - 人类活动鲁棒性:侧视摄像头捕捉到移动人类时仍能专注任务执行,因V骨干训练包含人类图像且策略优先腕部摄像头 [24][25] 失败案例与局限性 - 提前停止问题:因语义模糊性或动作解码错误,300步试验中常意外停止,需人工干预 [36][41][43] - 空间推理缺陷:缺乏精确距离度量能力,导致物体放入容器时高度不足或发生碰撞 [46][48] - 多步骤任务困难:无记忆机制导致铰接物体操作(如打开抽屉)时抓住把手后冻结 [40][46] - 提示工程敏感:同一任务在不同措辞下成功率波动极大,如"关上厕所"成功率0% vs "关闭马桶白色盖子"成功率100% [57][58] 任务类别性能 - 拾取放置:依赖腕部摄像头,遮挡时成功率降至0% [63][66] - 倾倒任务:空容器操作进度73.3%,真实液体倾倒进度仅20% [85][86] - 铰接物体:平均进度37.8%,成功率28.5%,抽屉操作进度63-75% [87][92] - 织物操作:平均进度47%,折叠T恤进度35%,但完成折叠任务进度0% [93][100] - YCB基准:进度53.5%,成功率24%,无法跟随品牌名称仅能识别颜色 [95][96][101] - 人机交互:进度53.5%,成功率24%,握手任务进度0% [102][108] - 咖啡机操作:进度仅8%,无法完成放入胶囊或按下按钮等复杂操作 [104][109] 硬件与部署 - 使用Franka Panda机器人(7自由度)配Robotiq 2F-85夹持器,侧视与腕部ZED相机纯RGB输入 [5][75] - 推理需NVIDIA RTX A6000(48GB VRAM),部署便捷性类似开源LLM,支持快速实验室验证 [10][75]
银河通用:全球首批部署英伟达新Thor芯片,获评“干活最快人形机器人”
新浪科技· 2025-08-13 04:08
产品发布与技术合作 - 银河通用联合英伟达发布基于NVIDIA Jetson Thor芯片的机器人新品Galbot 完成工业场景"智能搬箱"实景演示 [1] - Galbot成为首台内部部署最新Thor芯片的机器人 具备快速定位与抓取搬运能力 [1] - NVIDIA Jetson Thor芯片计算能力达上一代Jetson Orin的7.5-10倍 每瓦性能提升3.5倍 I/O吞吐量提升约10倍 [1] 技术优势与市场定位 - 银河通用率先在国内将NVIDIA Jetson Thor芯片部署于人形机器人 系全球最早收到该芯片的公司之一 [1] - 配备Thor芯片的机器人速度显著提升 被评为"最快的人形机器人" [1] - 公司机器人采用轮式双臂双手形态 主打高续航与工业级安全性 具备大规模高可靠交付能力 [2] 商业化进展与未来规划 - G1机器人自2024年5月推出后 在自动充电 运行流畅度与稳定性方面达到大规模自主商用标准 [2] - 24小时无人药房解决方案在北京 上海 深圳等地签约超过100家药店 [2] - 公司正对足式机器人展开研究 未来将联合英伟达基于OpenWBT_Isaac进行数据采集与遥控控制 [2] 行业前景与战略目标 - 通用机器人被认定为下一个价值数万亿美元/数万亿人民币市场的关键性革命性产品 [2] - 银河通用与英伟达等机器人公司共同致力于打造通用机器人 [2]
魔法原子“全家福”亮相WRC 2025 要与多方共建具身机器人“黄埔军校”
证券时报网· 2025-08-10 06:30
产品展示 - 公司在WRC 2025展示了全家族机器人产品线,包括全尺寸通用双足人形机器人"小麦"、高动态双足人形机器人MagicBot Z1、消费级四足机器人MagicDog、轮式四足机器人MagicDog-W以及工业四足机器人MagicDog Y1 [2] - 工业四足机器人MagicDog Y1采用航空级密封机身(IP67防护等级),可在-20℃至55℃环境稳定运行,具备厘米级定位精度与动态避障能力 [3] - 消费级四足机器人MagicDog展示后空翻特技,并具备自主路径规划与动态避障能力,可在密集人流中完成礼物配送 [2] 技术能力 - 公司自研分布式运动控制架构展现出实时响应能力,双足人形机器人MagicBot Z1可完成倒地起身、加速奔跑等高动态动作 [2] - 人形机器人"小麦"在工业流水线点胶场景中,每20秒可双手同步完成两个电机的点胶作业,连续作业时间超过4小时,精度稳定控制在1至2毫米内 [4] - 公司全自研力矩电机、灵巧手及运动控制算法可精准模拟复杂场景下的机器人行为 [8] 商业应用 - 公司推出智慧导览解决方案,人形机器人具备"边走边讲"导览功能,支持APP控制实现"即买即用"和"功能自定义" [4] - 消费级四足机器人MagicDog提供"家庭陪伴"和"休闲娱乐"功能,支持语音互动和手机APP调控 [5] - 工业场景中多台"小麦"已进驻工厂产线,执行产品检测、物料搬运、零件取放、扫码入库等工作,并实现局部范围协作 [7] 战略合作 - 公司与库帕思、优咔科技达成战略合作,将共建汽车领域垂类具身智能数据采集训练场,打造百台级通用具身语料训练平台 [1][7] - 三方计划8月起在极氪汽车、追觅科技等头部制造工厂分批部署训练单元,构建覆盖装配、质检、物流等全流程的实景数据库 [8] - 合作目标建设具身机器人领域"黄埔军校",打造中国首个实现"数据工业化"的具身智能基础设施 [8] 公司发展 - 公司成立于2024年1月,专注于通用机器人和具身智能技术研发与落地应用 [6] - 2025年5月完成数亿元新一轮战略融资,投资方包括禾创致远、芯联资本等,资金将用于核心技术研发和场景落地 [6] - 公司启动"千景共创"计划,目标与1000家合作伙伴打造1000个落地应用场景,目前已扩展至50多家合作伙伴 [7]
对话桥介数物创始人尚阳星:近亿元融资后,希望机器人运控如组装电脑简易
搜狐财经· 2025-08-09 12:31
融资情况 - 桥介数物在半年内连续完成天使+轮及PreA轮融资,累计金额近亿元,天使+轮投资方包括复星创富、潜能集团等,PreA轮由隐山资本领投,明荟致远、沂景资本等机构跟投 [2] - 最新一轮融资接近关闭,已吸引众多一线投资人密切跟进 [4] 公司背景与技术 - 公司成立于2023年5月,专注于研发通用机器人运动控制系统("小脑"),涉及强化学习、仿真运动控制、运控数据分析及Sim2Real等技术 [4] - 核心技术团队来自华中科技大学、南方科技大学、卡内基·梅隆大学等,平均年龄26岁,创始人尚阳星为1999年生,本科毕业于华中科技大学,保研至南方科技大学 [4] - 公司最早从基础行走运控切入,现开发通用机器人动作开发平台,支持人形、四足及轮足机器人的全向移动和全身模仿运控方案 [5] 产品与商业模式 - 通用机器人动作开发平台具备零基础操作、跨型号适配、快速迭代等优势,最快3天半完成未调试机器人训练任务,计划从项目制转向License+服务费+订阅制模式 [3][5][6] - 目前为16家人形、四足及轮足机器人厂商提供运控解决方案,包括全向移动运控和全身模仿运控两类方案 [4][5] - 目标是通过平台降低机器人运动能力开发门槛,使其像组装电脑或使用Word一样简单 [6] 行业动态与展望 - 具身智能赛道热度攀升,2023年6月以来加速进化、跨维、宇树等多家公司宣布融资,宇树已启动上市流程,智元通过收购实现"曲线"上市 [6] - 创始人预计未来两三年将出现更多实用解决方案,如搬箱子等具备人机交互功能的应用 [6] - 公司现金流充裕,正推动全球化商业化落地,已有稳定营收 [7]
哇塞,今天北京被机器人人人人人塞满了!
量子位· 2025-08-08 07:23
世界机器人大会盛况 - 世界机器人大会(WRC)在北京开幕 现场人气爆棚 吸引大量观众参观 [4] - 展会展示100多款新型机器人 其中智平方公司的人形机器人爱宝成为焦点展品 [4][5][7] 爱宝机器人核心能力 - 爱宝是通用机器人代表 通过单一基座模型可快速学习并完成多种任务 包括打架子鼓 制作冰淇淋 搬运货物等 [11][12][14][15][19] - 具备34+自由度 单臂负载10公斤 作业高度2.4米 续航6小时 展现全域行动和全身协同能力 [21] - 新发布全向轮版本 配备双激光雷达实现360°导航 48V 42Ah大电池支持自动充电和手动换电 [22][23][24][25] GOVLA大模型技术突破 - 采用全球首个全栈自研的全域全身视觉-语言-行动大模型GOVLA 具备四大核心能力 [27] - 全域感知:360度环境理解 突破传统桌面工作限制 [28] - 全身协同:控制全身自由度 实现拟人化复杂操作 [30][31][32] - 长程柔性:自主拆解多步骤任务 如完整饮品制作流程 [33][34] - 快速学习:通过观察和少量数据掌握新技能 如演奏不同风格曲目 [35] 商业化落地进展 - 已在四大场景实现商业化部署:工业制造(汽车生产线) 半导体(晶圆转运) 生物科技(无菌车间) 公共服务(机场导览) [45] - 采用多场景并行战略 从工业服务(L2)逐步向家庭服务(L4)演进 加速数据积累和模型迭代 [45]
桥介数物半年内完成3轮融资:聚焦通用机器人研发,创始人尚阳星年仅26岁
搜狐财经· 2025-08-07 08:16
融资情况 - 公司完成天使+轮及PreA轮融资 天使+轮投资方包括复星创富 潜能集团等 PreA轮由隐山资本领投 明荟致远 沂景资本等机构跟投 [2] - 融资资金将主要用于通用机器人感控一体动作开发平台的研发升级 加速前沿技术开发 提升产品化能力 推动商业化落地 [2] - 公司在半年内连续完成3轮融资 累计金额近亿元 易凯资本担任独家财务顾问 [2] 公司业务与技术 - 公司成立于2023年5月 是国内规模最大的通用机器人运动控制系统研发商 专注于通用机器人"小脑"(运动控制系统)的研发 [2] - 公司在强化学习与模仿学习 仿真运动控制 运控数据分析以及sim2real等领域建立了领先的核心技术体系 [2] - 公司正在开发全球第一款通用机器人动作开发平台 针对人形 四足 轮足等机器人构型的运动控制需求 提供运动控制数字基座能力 [2] 团队背景 - 创始人尚阳星出生于1999年 本科毕业于华中科技大学 保研至南方科技大学 师从逐际动力创始人张巍教授 2023年创立公司 [3] - 公司拥有"学术+工程+商业"全链条人才体系 核心技术团队来自华科 南科大 CMU 北航等知名院校和一流机器人实验室 平均年龄26岁 [3] - 公司已搭建全球化布局经验的市场和商务团队 核心成员曾在华为 中兴 京东等龙头企业任职多年 [3] 股权结构 - 公司法定代表人 董事长为尚阳星 注册资本70 51万元 [4] - 尚阳星表决权为70 92% 总持股比例为61 27% [4][5] - 尚阳星担任执行事务合伙人 持股深圳桥介共创企业管理咨询83 97% 深圳桥介数物企业管理咨询99% [6]
美股盘前要点 | 英伟达澄清芯片不存在后门!超微电脑大砍全年营收指引,盘前跌超17%
格隆汇· 2025-08-06 12:36
股指期货与欧股表现 - 美国三大股指期货小幅上涨 纳指期货涨0.1% 标普500指数期货涨0.14% 道指期货涨0.29% [1] - 欧股主要指数涨跌不一 德国DAX指数跌0.02% 英国富时100指数涨0.26% 法国CAC指数涨0.27% 欧洲斯托克50指数涨0.18% [1] 科技与半导体行业动态 - 英伟达发表声明澄清其芯片不存在后门 终止开关和监控软件 [4] - 英伟达将深度参与2025世界机器人大会 展示在物理AI与通用机器人领域的布局 [5] - 苹果iPhone17系列发布会定档当地时间9月9日 北京时间9月10日凌晨 [6] - 白宫官员预计周三将看到苹果的投资承诺 [3] - AMD第二季度营收同比增长32%至76.85亿美元创新高 调整后每股收益同比下降30%至0.48美元 [18] - 超微电脑第四财季营收同比增长7.5%至57.6亿美元 净利润下降34%至1.95亿美元 [17] 制药与医疗行业动态 - 诺和诺德第二季度营收768.6亿丹麦克朗 GLP-1药物销售额383.7亿丹麦克朗 均低于预期 [12] - 美国卫生与公众服务部终止22项与mRNA疫苗相关的合同 涉及莫德纳 辉瑞 赛诺菲和阿斯利康等疫苗生产商 [7] - 安进第二季度营收同比增长9%至91.79亿美元 净利润同比增长92%至14.32亿美元 [19] 消费与服务业公司业绩 - 迪士尼第三财季营收237亿美元 调整后每股收益同比增长16%至1.61美元 主题乐园业务表现强劲 [14] - 麦当劳第二季度营收同比增长5.4%至68.4亿美元 经营利润同比增长11%至32.3亿美元 同店销售增长3.8% [16] - Uber第二季度营收同比增长18%至126.5亿美元 净利润同比增长33%至13.55亿美元 拟回购至多200亿美元股票 [15] 制造业与运输业动态 - 本田汽车首财季销售额同比下降1.2%至5.3万亿日元 营业利润下降49.6%至2441.7亿日元 但上调全年营收及营业利润指引 [13] - 国泰航空将斥资81亿美元订购14架波音777-9型客机 为逾十年来首笔交易 [8] - 西班牙搁置向洛克希德·马丁公司购买F-35战斗机的计划 [9] 资本市场活动 - 爱奇艺寻求通过在香港市场上市融资3亿美元 [10] - 亚朵正考虑在香港进行二次上市 预料集资额达数亿美元 [11]
英伟达确认参与2025世界机器人大会,展示物理AI与机器人成果
新浪科技· 2025-08-06 07:56
公司战略与参与 - 英伟达确认深度参与2025年世界机器人大会 彰显其在物理AI和通用机器人领域的战略布局 [1] - 公司将发表主题演讲 并联合银河通用、宇树科技、中坚科技等生态合作伙伴展示软硬协同及生态共建成果 [1] 行业活动与主题 - 2025年世界机器人大会将于8月8日至12日在北京经济技术开发区北人亦创国际会展中心举行 [1] - 大会以"让机器人更智慧,让具身体更智能"为主题 由中国电子学会和世界机器人合作组织主办 [1] - 活动包括开幕式、闭幕式、论坛 同期举办世界机器人博览会和世界机器人大赛 [1]
热门概念股持续上攻,沪指半日收涨0.27%
每日经济新闻· 2025-08-06 04:23
市场表现 - 上证指数涨0.27%至3627.54点,深证成指涨0.46%,创业板指涨0.39%,北证50涨1.32%,科创50涨0.5%,中证A500涨0.31% [1] - A股半日成交1.07万亿元,上证指数市盈率(TTM)为15.8倍,市净率1.43倍 [2] - 央行开展1385亿元7天期逆回购操作(利率1.40%),单日净回笼1705亿元 [2] 板块涨跌 - PEEK材料概念板块领涨(均涨幅5.55%),军贸概念涨4.72%,人形机器人涨2.79% [3][4] - 肝炎概念板块跌幅最大(-1.53%),辅助生殖跌-1.48%,免疫治疗跌-1.44% [4] - 军工板块扩散上涨,成飞、沈飞、西飞等权重股加速上涨 [3] 行业动态 - 英伟达将深度参与2025世界机器人大会,展示物理AI与通用机器人布局,合作方包括银河通用、宇树科技等 [3] - 上海发布《具身智能产业发展实施方案》:目标2027年核心产业规模突破500亿元,支持关键技术攻关(最高5000万元资助) [3] - 全球军贸行业受益于地缘政治紧张及军费支出增长,多国军费开支创新高 [4] 公司聚焦 - 长城军工(代码601606)现价46.98元,近年加大研发投入驱动产品升级 [6] - 航天南湖(代码688522)现价43元(PE 64.05倍),深耕防空预警雷达领域,具备低空威胁技术储备 [6] - 内蒙一机(代码600967)现价23.22元(PE 53.03倍),受益于陆军新一代装备换装需求 [6] - 建设工业(代码002265)现价45.19元(PE 339.16倍),布局特种装备、新能源汽车等新方向 [6]