Workflow
具身智能之心
icon
搜索文档
更为稳健,具备泛化!BumbleBee: 通用人形机器人全身控制范式
具身智能之心· 2025-09-29 02:08
点击下方 卡片 ,关注" 具身智能 之心 "公众号 编辑丨 具身智能之心 专家学习 —— 首先在全数据上训练一个基础控制策略,作为专家模型的初始点。随后,针对聚类结果在各动作簇上分别微调,得到更具针对性的专家模型。接 着,将专家模型部署到真实机器人上执行以采集轨迹,并基于这些轨迹为每个类别单独训练动作增量模型,再冻结增量模型对专家进行微调,实现对仿真与现实间 偏差的补偿。通过迭代更新,专家模型在"更优策略—更高质量数据—更精准增量—再优化专家"的循环中逐步提升性能。 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 BumbleBee 提出了一条完整的人形机器人全身控制训练流程。首先,利用 AMASS 数据集训练基础的全身控制模型;在此基础上,通过聚类区分不同类型的动作, 并分别训练相应的专家控制模型;随后,将这些专家模型部署到真实机器人上,采集执行轨迹;基于采集的轨迹序列,为每个专家模型训练对应的动作增量模型 (delta model),以缓解仿真与现实之间的差距( ...
AnywhereVLA:在消费级硬件上实时运行VLA
具身智能之心· 2025-09-29 02:08
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Artem Voronov等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 一、核心背景与目标 当前移动操作技术正从封闭、结构化的工作单元,向开放、非结构化的大型室内环境拓展——机器人需在陌生杂乱空间中探索,与多样物体及人类互动,同时响 应自然语言指令完成任务(如家庭服务、零售自动化、仓储物流等场景)。但现有方案存在明显瓶颈: 为此,AnywhereVLA提出模块化架构,核心是融合经典导航的鲁棒性与VLA模型的语义理解能力,实现 未知大型室内环境下的语言驱动拾取-放置任务 ,且能在 消费级硬件上实时运行。 二、相关工作回顾:现有方案的优势与不足 1. VLA模型与轻量化优化 2. 扩散Transformer与导航相关方案 三、AnywhereVLA架构:四大核心模块与工作流 AnywhereVLA以自然语言指令为输入,通过四大模块协同输出低级别控制指令(驱动基座车轮与机械臂关节),整体 ...
好用,高性价比!面向具身科研领域打造的轻量级机械臂
具身智能之心· 2025-09-29 02:08
面向具身科研领域打造的轻量级高性价比机械臂 还在为具身领域的硬件发愁吗?太贵的硬件买不起,太便宜的机械臂不好用,有没有一款价格低但质量很 高的产品? Imeta-y1来了!低成本可以完成具身领域论文的验证,科研场景的开发,满足大多数从业人员和科研工作者 的需求。 这是一款专为教育、科研与轻工业场景设计的轻量级机械臂。 该机械臂融合高精度运动控制、低功耗设计与开放软硬件架构,支持从仿真到真机的无缝联调,并提供全 流程开源SDK与工具链,助力用户快速实现算法验证、数据采集、模型训练与部署应用。 其紧凑型结构与模块化接口,尤其适用于嵌入式AI与机器人学习平台的开发与应用推广。 | 本体重量 | 4.2KG | 额定负载 | 3KG | 自由度 | 6 | | --- | --- | --- | --- | --- | --- | | 工作半径 | 612.5mm | 重复定位精度 | ±0. 1mm | 底座安装尺寸 | 90mm*90mm*M5*4 | | 供电电压 | 24V | 控制器 | PC | 材质 | 铝合金 | | 通讯方式 | CAN | 外部接口 | 电源+CAN XT30 2+2 | 控制方式 ...
好用,便宜!面向具身科研领域打造的轻量级机械臂
具身智能之心· 2025-09-28 07:00
面向具身科研领域打造的轻量级高性价比机械臂 还在为具身领域的硬件发愁吗?太贵的硬件买不起,太便宜的机械臂不好用,有没有一款价格低但质量很高的 产品? Imeta-y1来了!低成本可以完成具身领域论文的验证,科研场景的开发,满足大多数从业人员和科研工作者的 需求。 这是一款专为教育、科研与轻工业场景设计的轻量级机械臂。 该机械臂融合高精度运动控制、低功耗设计与开放软硬件架构,支持从仿真到真机的无缝联调,并提供全流程 开源SDK与工具链,助力用户快速实现算法验证、数据采集、模型训练与部署应用。 其紧凑型结构与模块化接口,尤其适用于嵌入式AI与机器人学习平台的开发与应用推广。 | 本体重量 | 4.2KG | 额定负载 | 3KG | 自由度 | 6 | | --- | --- | --- | --- | --- | --- | | 工作半径 | 612.5mm | 重复定位精度 | ±0. 1mm | 底座安装尺寸 | 90mm*90mm*M5*4 | | 供电电压 | 24V | 控制器 | PC | 材质 | 铝合金 | | 通讯方式 | CAN | 外部接口 | 电源+CAN XT30 2+2 | 控制方式 ...
没有导师指导,最快多久可以产出一篇具身领域相关论文?
具身智能之心· 2025-09-28 07:00
那么VLA是什么? 最近有同学后台留言,刚开学导师跨行做具身,让自己先去摸索下,最好能产出论文和项目。没有基础最 快能多久出论文? 针对跨行或者新入门的同学,我们一直建议先把基础打好。然后找一些研究价值比较大的领域突破。特别 是有一定的工作基础、数据基础的领域,如果完全不成熟,没有人同行后期科研的难度很大。 从今年各个机器人与AI顶会来看,VLA及其相关衍生方向,占据了近一半的具身产出。特别是长程操作、 泛化、少样本、VLA+RL、人形相关。如果有同学不知道怎么选择方向,可以多关注这个领域!具身智能 之心最近也出品了一套1v6的科研辅导论文课程,也欢迎关注报名。 从产业角度看,国内外具身智能领域正处于蓬勃发展阶段,Unitree、智元、星海图、银河通用、逐际动力 等团队从实验室走向商业化,华为、京东、腾讯等科技巨头也积极布局,与国外Tesla、Figure AI等公司正 在一起推动这一领域的发展。 很多同学后台留言,咨询VLA相关的论文辅导,希望能够快速入门或转型。VLA作为目前的研究热点,还 有很多问题没有解决,确实是发论文的好方向。但相关体系过于庞大,路线、仿真框架较多,如何写稿、 投稿也都是技巧。具身智 ...
一个近2000人的具身社区,给出了这样的答案~
具身智能之心· 2025-09-28 01:05
今年的国庆和中秋赶在一起了,首先提前祝大家节日快乐。也希望每个人都能好好放松下,包括峰哥自己 也真的需要relax下。做了这么久的社区运营和媒体,几乎每天都在线,随时都要处理同学们的问题。 最近在做一个什么事情呢? 主要推进硬件和社区还有很多公司的商务。 前面有很多同学一直向峰哥吐槽硬件贵、不好用。这块我们正在努力找合适的方案,不久就会推给大家。 近期正在推进一些具身产品的测试和开发,期望能给大家提供几个使用还不错的平台。 到时候,会第一时 间在我们的具身智能之心知识星球公开。 还有就是想着完善社区,减少盲区和不完善的体系。体系大,零散,需要投入很多时间整理。所以小长假 前,还要努力一把子,节后给大家呈现更好的内容。 我们也陆续收到了很多高校在具身方向的招生需求,特别是RA、博士、博士后。感兴趣的同学也提前26年 的升学、工作做好准备,和老师熟悉起来,关注我们日常的一些招生信息。正在秋招或者社招的同学,简 历也可以随时砸给我们,第一时间帮大家内推。 所有的内容都会第一时间沉淀到我们的具身社区内,具身智能之心知识星球一致努力打造成为超大的具身 与机器人社区,期望能够在大家最需要帮助的时候解决问题,求职的时候能够 ...
仿真专场!一文尽览神经渲染(NERF/3DGS)技术在具身仿真框架Isaac Sim中的实现
具身智能之心· 2025-09-28 01:05
神经渲染技术在仿真领域的应用 - 神经渲染技术(NERF/3DGS)通过神经网络表达空间,在新视角合成方面表现优越,直击辅助驾驶和具身智能仿真中传感器仿真的痛点,可解决传统计算机图形学渲染图像缺乏真实性的问题,广泛应用于算法闭环测试和训练 [3] - 现有研究围绕NERF和3DGS技术开发面向闭环测试的仿真框架,但完全新开发仿真框架工作量巨大,因此另一种思路是将训练好的NERF/3DGS模型嵌入现有仿真软件框架,以利用现有3D数字资产和算法接口工具链 [3] 技术集成与工具支持 - LumaAI的3DGS插件可将高斯点云ply插入基于Unreal的CARLA游戏引擎,而NVIDIA的Isaac Sim仿真软件也已支持神经渲染技术,允许插入3DGS模型 [4] - NVIDIA开源项目提出三维高斯渲染方法,可输出适用于Isaac Sim的usdz模型,3DGRUT工具支持将其他3DGS方法生成的高斯点云ply转化为usdz模型 [4] - 3DGRUT生成的usdz模型文件包含default.usda、gauss.usda等描述文件和nurec格式模型文件,可直接解压使用 [4] Isaac Sim中的操作流程 - Isaac Sim的神经渲染功能NuRec需5.0.0以上版本(Omniverse Kit 107.3以上),安装后可通过Content栏导航到usdz模型解压文件夹,将gauss.usda拖动或插入Stage,即可显示三维高斯模型 [5] - 导入的3DGRUT模型仅具备视觉特征,需通过2DGS等方法提取场景mesh(ply格式),并调整mesh的scale和位姿以匹配usdz渲染结果 [6][7] - 需将usdz模型与mesh绑定,在gauss的Property中选择Raw USD Properties,找到proxy并添加Target,选择mesh对象,最后勾选omni:nurec:useProxyTransform特性以实现对齐 [7] 物理属性与交互功能 - 需为mesh添加物理属性,右键选择mesh,在Add中选择Physics->Collider,以增加碰撞属性,避免物体穿透问题 [8] - 在mesh的Property中勾选Matte Object,配合DomeLight光照实现光影交互效果,同时可添加OmniPBR材料并将Reflectivity中的Specular降至最低,减少不必要的反光 [8] - 添加Rigid Body with Colliders Preset属性后,可进一步设置质量等物理属性,使模型与仿真环境中的其他物体(如球体、地面)产生碰撞交互 [14] 动态物体与场景构建 - 通过3DGS方法训练场景(如mipnerf360的kitchen),使用在线工具编辑ply文件提取特定物体(如乐高推土机),再经3DGRUT转化为usdz模型,可实现动态物体导入 [11][13] - 将动态物体(如推土机)放入其他神经渲染场景(如garden或room),可实现模型间及模型与原生物体的动态交互,显存占用较低,在3090显卡上fps表现良好 [15][17] 未解决的问题与挑战 - 神经渲染模型间的光影交互关系尚未完全解决,例如推土机未在神经渲染背景中投下阴影 [18] - 仿真环境测试具体算法的效果尚未探究,例如在room环境中让VLA算法执行"捡起地毯上的乐高推土机"指令的可行性 [19] - 需解决如何快速提供rgb图像外的真值信息(如图像分割、对象标注标签),以及如何获取动态物体的物理属性真值(如硬度、摩擦系数、质量) [19] - 需进一步提升计算效率,以支持更大规模神经渲染场景和更多对象的实时仿真 [19]
首款推理具身模型,谷歌DeepMind造!打破一机一训,零样本迁移
具身智能之心· 2025-09-28 01:05
产品发布与定位 - 谷歌DeepMind正式发布新一代通用机器人基座模型Gemini Robotics 1.5系列 成为全球首个具备模拟推理能力的具身模型[3][5] - 该系列由两大模型组成:GR 1.5负责动作执行的多模态大模型 GR-ER 1.5强化推理能力并提供规划与理解支持[4][6] - 两大模型协同工作 其中GR-ER 1.5不执行实际操作 而GR 1.5专为执行层设计 两者结合实现"先思考再行动"的完整闭环[6][7][37] 技术能力与创新 - 模型具备执行复杂长程任务能力 可将多步任务分解为多个阶段并逐一完成 例如分拣深浅色衣物或根据天气打包行李[7][11][13] - 引入全新Motion Transfer机制 将不同机器人平台的运动轨迹映射到统一动作语义空间 实现零样本跨平台技能迁移[9][19][46] - 在230项任务基准测试中 模型在指令泛化、动作泛化、视觉泛化和任务泛化四个维度表现优异 明显优于前代模型[58] - 长时序任务完成进度分数最高接近80% 几乎是单一VLA模型的两倍[59] - 在ASIMOV-2.0安全基准中展现出更高风险识别与干预能力 能够理解物理风险并触发保护机制[61] 应用场景与性能 - 可驱动多种机器人硬件包括低成本双臂机器人ALOHA、工业级Franka和人形机器人Apollo 实现丝滑无缝迁移[16][17] - 能够根据特定要求自主上网搜索信息 例如根据不同城市的垃圾分类标准帮助完成分类任务[8] - 具备自我检测与修正能力 在操作失败时可立即转换方案 例如抓取水瓶失败后改用另一只手完成[31] - 能识别潜在风险并避免危险动作 确保在人类环境中的运行安全性[32] 技术架构与数据 - 两款模型均基于Gemini基础模型构建 并使用适应物理空间操作的数据进行微调[34] - GR 1.5作为执行者 直接将自然语言和视觉输入转化为低层级机器人动作[35] - GR-ER 1.5作为大脑指挥官 负责理解复杂任务、做出高层规划并调用外部工具及监控进度[36] - 训练数据包括真实机器人在ALOHA、Franka、Apollo等平台完成的成千上万种操作数据 以及互联网中的文本、图像与视频信息[39][40] - 约90%以上的迭代在MuJoCo仿真环境中完成 显著提升研发效率并保证现实硬件执行的稳定性与安全性[47][48] 行业影响与定位 - 该模型代表谷歌将通用AI推向现实世界的重要里程碑 使机器人从执行单一指令转向对物理任务进行真正理解和解决问题[10][64] - 在学术基准测试中 GR-ER 1.5在空间推理、复杂指点和进度检测等任务上全面超越GPT-5和Gemini 2.5 Flash[56] - 具备显性思考能力 行动前会用自然语言拆解复杂任务 提升可解释性和信任感[24][25][51]
缺数据也能拿SOTA?清华&上海AI Lab破解机器人RL两大瓶颈
具身智能之心· 2025-09-27 01:33
编辑丨 量子位 点击下方 卡片 ,关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 视觉-语言-动作模型是实现机器人在复杂环境中灵活操作的关键因素。 然而,现有训练范式存在一些核心瓶颈,比如数据采集成本高、泛化能力不足等。 为此,研究团队提出了 SimpleVLA-RL 。基于veRL框架,他们实现了针对VLA模型的交互式轨迹采样与并行仿真渲染机制。 降低对大规模演示数据的依赖,提升数据效率; 增强模型在分布偏移场景下的泛化能力; 实现高效的Sim-to-Real迁移,提升真实世界任务性能。 此外,模型在训练过程中还展现出自主探索能力,并涌现出新的操作策略,例如通过"推动"替代"抓取"的 Pushcut现象 。这些结果表明, SimpleVLA-RL为VLA模型的高效训练与泛化能力提升开辟了新的研究路径。 SimpleVLA-RL:端到端在线训练方案 VLA模型作为机器人操控领域的重要研究范式,旨在融合视觉感知、语言理解与动作生成,从而在复杂物理环境中实现灵活的任务执行。 ...
具身智能之心国庆&中秋双节福利来啦~
具身智能之心· 2025-09-27 01:33
具身智能之心国庆和中秋优惠来啦! 知识星球、具身课程、硬件、论文辅导、超级折扣卡 等大额活动。 活动时间:9.24-10.12 知识星球 具身智能之心新人加入7折,老学员续费5折优惠。 具身课程 VLA、VLN、Diffusion Policy、强化学习、仿真等 多门课程8折优惠 。 超级折扣卡 购买超级折扣卡, 1年内所有课程7折优惠 。 自驾 + 具 身 所有课程 预售课程除外 -班+八班。 ▲星球福利 / xing QIU FU LI 7折优惠,立减80 7折优惠, 立减99 节后将再次涨价 赠送7门精品课程 自动驾驶之心 具身智能之心 ▲福利专区 /FU LI ZHUAN QU 1. 大模型星球 99元一年,(技术 + 行 业 + 求职) 论文辅导 1v1论文辅导,1000最多抵扣5000元 1v6 vla论文辅导,立减1000元 具身科研硬件 强化学习平台 具身机械臂(舵机版) 2. 1v1辅导辅导最高1000抵扣 5000 3. 1v6论文辅导立减 1000 4. 超级折扣卡:*299元自驾课程七折 优惠(一年期) ▲ 硬件福利 /YIN JIAN FU LI · 全栈教研平台黑武士001 · 足 ...