Workflow
具身智能之心
icon
搜索文档
这家最早做VLA的公司,首创了6臂的移动机器人~
具身智能之心· 2025-12-08 03:00
点击下方 卡片 ,关注" 具身智能 之心 "公众号 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 美的作为国内率先从事VLA相关技术研究的企业,近期正式推出了六臂轮足式人形机器人,形态让人一眼想起了美杜莎hhh。 12月5日,在"2025粤港澳大湾区新经济发展论坛暨21世纪科技年会"上,美的集团副总裁兼首席技术官(CTO)卫昶在主题演讲中首次正式披露超人形机器人MIRO U。 MIRO U作为行业首创的六臂轮足式人形机器人,核心技术体系自主研发构建,可实现稳定升降与360度原地转体,以及机械臂高精度灵活控制,同时执行器支持末 端多类模组的快速切换,形成多维度协同作业系统。 为什么是这种构型?作为一直关注工业制造领域的企业,美的一直想要重点突破工业场景下的作业效率,这也被认为是人形机器人落地的关键。 全平台服务米啦! 保姆级 具身智能方向论文辅导来啦! 我们提供的辅导服务 顶会 / 顶刊 / SCI / EI / 中文核心 毕业论文 / 申博辅导 ...
刚刚,英伟达CUDA迎来史上最大更新!
具身智能之心· 2025-12-08 01:11
作者丨 机器之心 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区: 具身智能之心知识星球(戳我) ,这里包含所有你想要的! 几个小时前, NVIDIA CUDA Toolkit 13.1 正式发布, 英伟达官方表示: 「这是 20 年来最大的一次更新。」 这个自 2006 年 CUDA 平台诞生以来规模最大、最全面的更新包括: 下面我们就来具体看看。 CUDA Tile CUDA Tile 是 NVIDIA CUDA Toolkit 13.1 最核心的更新。 它是一种基于 tile 的编程模型,能够以更高的层次编写算法,并抽象化专用硬件(例如张量核心)的细 节。 NVIDIA CUDA Tile 的发布, 这是英伟达基于 tile 的编程模型,可用于抽象化专用硬件,包括张量核心。 Runtime API exposure of green contexts (是指把所谓的 Green Context「指轻量级的、可并发调度的上下文或执行环境」暴露给外部调用者使用。) NVIDIA cuBLAS 中的双精度和单精度仿 ...
远超基线模型!X-Humanoid:推动机器人从 “真实数据” 向 “虚拟合成 + 互联网数据” 转型
具身智能之心· 2025-12-08 01:11
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Pei Yang等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 在 embodied AI 领域,视觉 - 语言 - 动作(VLA)模型与世界模型的发展虽展现出通用自主能力的巨大潜力,却始终受限于核心瓶颈——大规模、多样化机器人训 练数据的稀缺。现有解决方案要么依赖成本高昂的真实机器人数据采集,要么通过简单叠加机器人部件编辑第一视角人类视频,均无法应对第三人称视频中的全身 复杂动作、动态背景与严重遮挡问题。 新加坡国立大学 Show Lab 提出的 X-Humanoid 框架 ,以 "数据合成 - 模型适配 - 大规模生成" 为核心逻辑,首次实现第三人称人类视频到类人机器人视频的高质量 转化,为机器人训练提供了全新的数据生成范式。 论文题目:X-Humanoid: Robotize Human Videos to Generate Humanoid Videos at Scale 项 ...
8个实战,彻底讲清VLA的各类方案
具身智能之心· 2025-12-08 01:11
具身智能与视觉语言动作模型技术现状 - 行业普遍面临视觉语言动作模型在实际硬件上难以跑出效果的挑战 [1] - 具身智能领域高度依赖硬件本体,算法与硬件紧密耦合,仿真和互联网数据在泛化性能上无法保证,许多公司坚持采用“真机数据”路线 [2] - 近2年来,算法技术快速发展,从ACT、OpenVLA到π0、π0.5、π0.6等新方法层出不穷,性能持续提升,基于强化学习的优化方案使模型运行更流畅 [4] - 开源硬件本体多样化,例如SO-100机械臂、openarm双臂操作系统、XLeRobot移动操作平台,支持各类研究需求 [4] VLA模型落地实施的核心模块与挑战 - 数据采集是首要模块,主要方法包括基于模仿学习的遥操作、VR、全身动捕捉,以及强化学习方法,在机械臂结合VLA领域更多采用遥操作和VR [7][8] - 数据采集的质量保障及real2sim2real流程是关键问题 [8] - 模型训练前通常需进行仿真调试,在真机数据不足时,Mujoco、Isaac Gym等仿真框架及sim2real技术尤为重要 [10] - 模型训练技巧至关重要,包括如何微调模型、如何在小数据量下取得良好效果,许多模型存在机械臂运动准但夹爪操作不佳或运动误差大的问题 [10] - ACT算法相对简单易出效果,而π0、π0.5、GR00T等模型训练难度高,对细节和技巧要求严格,强化学习优化模型的经验门槛高 [6][10] - 模型部署前需进行“瘦身”操作,即使参数量为2B的模型,在边缘芯片部署挑战仍大,需通过量化、蒸馏等轻量化技术最小化参数量并保证性能 [12] VLA技术学习与人才培养 - VLA技术更新快,学习曲线陡峭,许多学习者即使拥有真机硬件也不知如何入手 [13] - 行业推出了首个面向实战与求职的VLA小班课,内容涵盖机械臂硬件、数据采集、VLA算法与评测、仿真、主流VLA模型部署、VLA结合世界模型、真机实验及具身产业讲解 [14][16] - 课程为学员提供SO-100机械臂一套,包含示教臂和执行臂 [21] - 课程讲师为某机器人公司VLA高级研究员,拥有5年以上机器人行业实战经验,精通具身智能全栈技术,并在顶级期刊发表学术论文10篇以上 [25] - 课程目标人群包括:具身领域求职者、VLA入门进阶者、相关领域学生、从传统CV/机器人/自动驾驶转行者以及对具身智能感兴趣的人员 [27] - 课程对硬件有明确建议:推理建议使用RTX 3060及以上显卡,训练建议使用2张以上RTX 3090 Ti显卡,也可自租云服务器,并要求学员具备一定的Python和PyTorch基础 [27] - 完成课程后,学员将掌握真机调试与数据采集、各类VLA算法真机部署、模型量化技术,并对具身产业有清晰认识,简历项目经验可达到1-2年以上算法工程师水平 [30] - 课程计划于2025年12月30日开课,共分九章,持续至2026年2月25日 [28][31]
SpaceX估值8000亿美元超OpenAI,IPO就在明年
具身智能之心· 2025-12-08 01:11
SpaceX估值与融资动态 - 据华尔街日报报道,SpaceX正与投资者就新一轮内部股份出售进行谈判,若交易达成,公司估值将飙升至8000亿美元(约合人民币5.66万亿元)[1] - 此次估值为二次股票出售(即现有股东向新投资者出售股份),若完成,将使SpaceX超越OpenAI(估值5000亿美元),成为全球估值最高的私营企业之一[2][10][12] - 公司估值在不到半年内翻番,今年7月进行上一轮二次股票出售时估值仅为4000亿美元(约合人民币2.83万亿元)[3][10] - 另有媒体报道(如彭博社)指出,交易可能以每股约300美元进行,届时估值可能为5600亿美元,最终数字在交易敲定前仍可能变化[11] 公司业务与运营状况 - SpaceX成立于2002年,是一家私营航空航天和太空运输公司,核心业务为火箭发射和卫星[5][17] - 公司在火箭发射市场已占据主导地位,为商业卫星公司和NASA等机构提供服务[18] - 卫星业务(特别是Starlink部门)被认为是推动其高估值的主要理由,该部门目前拥有约9000颗卫星,是重要收入来源[19][23] - 公司正在开发下一代完全可重复使用的运载火箭“星舰”(Starship),迄今为止已完成11次试飞实验[20][21] - 据马斯克今年6月透露,SpaceX 2024年全年预计营收将达155亿美元,略高于OpenAI同期的130亿美元预计营收[25][26] 上市计划与行业对比 - SpaceX被曝最早将于2025年下半年进行首次公开募股(IPO)[16] - 公司高管目前更倾向于将火箭发射和Starlink卫星业务打包上市,而非拆分Starlink独立上市[24] - 在上市时间点上,SpaceX(可能2025年下半年)可能比OpenAI(传闻最早2026年下半年提交申请,2027年上市)更快一步[26] - OpenAI上市时估值有望高达1万亿美元,SpaceX的估值正快速追赶[26][27]
今年大家最关注的具身方向原来是这些?
具身智能之心· 2025-12-07 03:03
最近正在准备为具身行业起草一份非常丰富的研报,预计明年的第一季度公布。因为涉及的内容和方向 非常多,包括具身公司的融资、产业、政策、算法、落地、出口等多个模块,所以也非常想了解下大家 都在关注哪些内容,侧重点应该在哪里。 国内具身产业与政策 国外具身产业情况 具身公司融资、业务情况 具身数采相关 具身算法优化部署相关 机器人边缘芯片相关 具身下游产业发展 具身产业人才结构与需求 具身公司上市辅导等 其它 微信扫码填写,只需10s 为了更好服务大家,我们也简单做个调研,涉及以下板块,支持多选哦~ ...
看到字节最新的GR-RL丝滑系鞋带,真的怕了......
具身智能之心· 2025-12-07 03:03
文章核心观点 - 字节跳动提出的GR-RL框架成功解决了机器人长时程精细操作的核心瓶颈,成为首个能自主完成多鞋孔系鞋带任务的学习型模型 [1] - GR-RL框架通过“数据提纯-能力增强-行为对齐”的三层逻辑闭环设计,将通用视觉-语言-动作模型转化为长时程精细操作专家 [9] - 该方案在系鞋带任务中实现了83.3%的成功率,显著优于基线模型,为通用模型向真实世界专精模型转化提供了可复用的范式 [18][22][28] 问题根源:长时程精细操作的三大核心矛盾 - **演示数据质量与任务精度的矛盾**:人类演示数据中存在“犹豫停顿”、“错误尝试”等次优行为,直接模仿这些含噪声的数据会导致模型学到低效或错误的动作模式 [4] - **训练与部署的行为mismatch矛盾**:部署时对模型输出动作进行“轨迹平滑”等优化,与训练阶段学习的原始动作存在差异,这种差异在精细操作中会被放大,导致性能下降 [5] - **泛化能力与任务特异性的矛盾**:通用模型缺乏对特定任务的针对性优化,无法利用机器人形态对称性提升鲁棒性,且难以应对长时程操作中的突发场景和误差累积 [6] 方案设计:GR-RL的三层逻辑闭环 - **第一层:数据提纯**:采用基于分布式评论家网络的任务进度评估器,通过TD3+BC离线强化学习算法,以任务成功/失败为稀疏奖励,并利用“重试关键帧标注”技术,其预测的Q值作为任务进度指标,用于筛选和剔除进度值下降超过阈值的次优演示数据 [10] - **第二层:能力增强**:利用双臂机器人的形态对称性设计数据增强策略,包括视觉层面水平翻转和交换摄像头画面、动作与状态层面的镜像对称转换、以及语言层面同步修改文本指令,无需额外采集数据即可提升模型“左右手通用”和“多视角适配”的操作能力 [10] - **第三层:行为对齐**:提出基于潜在空间探索的在线强化学习方案,在动作扩散模型的噪声输入空间引入轻量级噪声预测器进行引导,并施加分布约束,同时采用双缓冲池采样策略平衡稳定学习与环境适配,以弥合训练与部署的差异 [11][14] 落地支撑:硬件与模型架构的协同优化 - **ByteMini-v2机器人硬件优化**:肘部执行器峰值扭矩从17 Nm增至35 Nm,臂部最大负载从1.4 kg提升至3.15 kg;底盘投影面积缩小至450 mm×650 mm,优化空间机动性;并进行了人机交互与可靠性升级 [12][15] - **混合Transformer模型架构**:采用总参数量达50亿的混合Transformer架构,高效处理多模态信息;其中VLA策略网络以Qwen2.5-VL-3B-Instruct为骨干,通过动作扩散Transformer生成动作;分布式评论家网络采用因果Transformer结构,预测动作块的Q值分布以避免价值高估 [12][21] 验证逻辑:从整体性能到组件有效性的层层拆解 - **整体性能突破**:在系鞋带任务中,基础通用模型GR-3成功率仅45.7%,仅加入数据筛选后提升至61.6%,叠加形态对称增强后达72.7%,最终通过在线RL,成功率稳定在83.3%,在线训练后期一度超过90% [18][22] - **关键阶段性能提升**:数据筛选主要提升“穿入鞋孔”阶段的成功率,从46.4%升至63.8%;形态对称增强对所有阶段均有提升,如“拾取鞋带”阶段从58.7%升至76.5%;在线RL进一步降低“交接”、“拉紧”阶段的失败率,如“交接”阶段从45.7%升至83.3% [20][26] - **核心组件有效性验证**:通过消融实验对比,GR-RL采用的分布式评论家网络相比非分布式评论家,能避免在稀疏奖励场景下的价值高估问题,预测更稳健;相比回归型预测器,对“毫米级偏差”等细微失败更敏感,且能捕捉对任务有长期正向作用的操作 [24][27][30][31] 局限与未来方向 - **行为漂移问题**:在线RL阶段,稀疏噪声奖励可能导致模型行为不稳定,未来可通过动态调整噪声约束阈值或引入分层强化学习优化信用分配 [27] - **基础模型融合不足**:当前未将专精能力蒸馏回基础模型,导致模型难以兼顾“长时程精细操作”与“多任务泛化”,未来需探索专精知识蒸馏技术 [27] - **任务扩展性有限**:实验仅验证系鞋带任务,未来需在“精密零件装配”、“手术辅助”等更多长时程精细操作任务中测试,以进一步验证框架通用性 [27]
深扒PI π*0.6迭代式强化学习思路:VLA+在线RL,实现自我进化
具身智能之心· 2025-12-07 03:03
见证具身浪潮,书写智能新纪元 以下文章来源于具身纪元 ,作者具身纪元 具身纪元 . 更多干货,欢迎加入国内首个具身智能全栈学习社区: 具身智能之心知识星球(戳我) ,这里包含所有你想要的! 在Physical Intelligence 最新的成果π 0.6 论文里,他们介绍了 π 0 .6迭代式强化学习的思路来源: 其中有我们熟悉的Yuke Zhu的研究,也有他们自己(Chelsea Finn、Sergey Levine)的一些研究,我们之前对这些工作一直有跟踪和介绍。此外,还有来自国内具身智能团队的 工作,比如清华大学、星动纪元的研究。 随着π*0.6的发布,VLA+online RL成为了一个行业共识的非常有前景的研究方向 深扒了Π*0.6的论文,发现它不止于真实世界强化 学习 英伟达也来做VLA在真实世界自我改进的方法了 大语言模型从SFT到RL的发展方向也逐渐在具身研究中清晰明朗。 一、为什么VLA+RL很重要 编辑丨 具身纪元 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 图注:VLA模型依赖研读微调 在具身智能(Embodied AI)领域,科学家 ...
具身智能的黄埔军校,都有哪些东西?
具身智能之心· 2025-12-07 03:03
最近在为大家收敛具身科研的几个重点模块:行业内容、本体形态、算法、还有部署的一些方案,已经汇总 在我们的社区内部。 现已梳理了行业正在从事具身大脑、本体研发的公司(突然发现本体也卷不太动了......),以及一些比较活跃的 具身实验室。除此之外,还提供了很多行业研报,供大家判断具身的发展与周期。 本体方面,推荐几款适合科研的产品:SO-100系列、openarm系列、XLerobot系列等; SO100及升级版本,能上一些VA和VLA的算法,常见功能可以实现了; Openarm是一款双臂任务框架,目前有几家公司开始生产相关本体,缺乏移动能力,一些叠衣服、pick and place也都能满足。但从数据采集来看,VR版本更舒服。 算法层面,目前我们收拢了关于vla(训练、无需训练方式、vla+RL、vla+世界模型、vla轻量化、部署等)、 vln(时间语言、目标导航、点导航等)、运控(强化、MPC、WBC)、仿真(通用、真实)、触觉感知等多 个方向路线; 部署层面,目前大多集中在云端推理。边缘侧基于索尔的方案已经逐渐落地(vla模型),除此之外,类似于 小鹏这类公司基于自研芯片已经完成vlm/vla的部署。1 ...
已经有7所高校,在悄悄地设立具身专业了......
具身智能之心· 2025-12-06 03:11
行业趋势:高校加速布局具身智能本科专业 - 除清华大学与上海交通大学外,另有6所双一流高校正在申请增设“具身智能本科专业”,表明高等教育体系正积极回应产业对具身智能领域人才的迫切需求 [1] 高校专业申报详情 北京航空航天大学 - 专业设置在机械工程与自动化学院,基于已有的机器人工程(2017年开设)和人工智能(2019年开设)专业建设经验 [3][4] - 年度计划招生人数为30人,其中预计升学20人,定向就业10人 [3][5] - 人才需求调研涉及宇树科技、九号机器人、邀博机器人、智元机器人、度量科技、青瞳视觉等公司,预计提供共10个就业岗位 [5] 北京理工大学 - 专业设置在人工智能学院,依托人工智能、机器人工程、自动化等学科建设经验 [6] - 年度计划招生人数为120人,规模为已披露高校中最大,其中预计就业50人,升学70人 [6][7] - 人才需求调研覆盖广泛,包括中国兵器工业集团(10人)、中国航天科技集团(7人)、华为(5人)、阿里巴巴、宇树科技(5人)、比亚迪、小米(3人)、字节跳动(3人)、腾讯(3人)、顺丰(2人)及北汽集团等企业 [7] 北京邮电大学 - 专业设置在人工智能学院,主要基于人工智能专业建设经验 [8] - 年度计划招生30人,预计就业与升学各15人 [9] - 人才需求调研企业包括北京字节跳动(1人)、美团(2人)、阿里巴巴(2人)、中国航空集团(1人)、北京人形机器人创新中心(1人)、亿航智能(2人)、中国电信、华为、小鹏汽车(1人)、傅利叶智能(1人)等 [10] 浙江大学 - 专业归属于控制科学与工程学院,基于机器人工程、人工智能等学科建设经验 [11] - 年度计划招生30人,预计升学20人,就业10人 [12] - 人才需求调研企业包括杭州云深处科技(1人)、微分智飞(1人)、深圳元戎启行(1人)、逻腾科技(1人)、比亚迪(1人)、中车株洲所(1人)、浙江大学湖州研究院(1人)、杭州华为(1人)、中航西飞(1人)等,另有选调生岗位(1人) [12] 其他申报高校 - 根据教育部公示名单,申请增设具身智能本科专业的高校还包括东北大学和西安交通大学 [2]