今年的国庆和中秋赶在一起了，首先提前祝大家节日快乐。也希望每个人都能好好放松下，包括峰哥自己 也真的需要relax下。做了这么久的社区运营和媒体，几乎每天都在线，随时都要处理同学们的问题。 最近在做一个什么事情呢？ 主要推进硬件和社区还有很多公司的商务。 前面有很多同学一直向峰哥吐槽硬件贵、不好用。这块我们正在努力找合适的方案，不久就会推给大家。 近期正在推进一些具身产品的测试和开发，期望能给大家提供几个使用还不错的平台。 到时候，会第一时 间在我们的具身智能之心知识星球公开。 还有就是想着完善社区，减少盲区和不完善的体系。体系大，零散，需要投入很多时间整理。所以小长假 前，还要努力一把子，节后给大家呈现更好的内容。 我们也陆续收到了很多高校在具身方向的招生需求，特别是RA、博士、博士后。感兴趣的同学也提前26年 的升学、工作做好准备，和老师熟悉起来，关注我们日常的一些招生信息。正在秋招或者社招的同学，简 历也可以随时砸给我们，第一时间帮大家内推。 所有的内容都会第一时间沉淀到我们的具身社区内，具身智能之心知识星球一致努力打造成为超大的具身 与机器人社区，期望能够在大家最需要帮助的时候解决问题，求职的时候能够 ...

神经渲染技术在仿真领域的应用 - 神经渲染技术（NERF/3DGS）通过神经网络表达空间，在新视角合成方面表现优越，直击辅助驾驶和具身智能仿真中传感器仿真的痛点，可解决传统计算机图形学渲染图像缺乏真实性的问题，广泛应用于算法闭环测试和训练 [3] - 现有研究围绕NERF和3DGS技术开发面向闭环测试的仿真框架，但完全新开发仿真框架工作量巨大，因此另一种思路是将训练好的NERF/3DGS模型嵌入现有仿真软件框架，以利用现有3D数字资产和算法接口工具链 [3] 技术集成与工具支持 - LumaAI的3DGS插件可将高斯点云ply插入基于Unreal的CARLA游戏引擎，而NVIDIA的Isaac Sim仿真软件也已支持神经渲染技术，允许插入3DGS模型 [4] - NVIDIA开源项目提出三维高斯渲染方法，可输出适用于Isaac Sim的usdz模型，3DGRUT工具支持将其他3DGS方法生成的高斯点云ply转化为usdz模型 [4] - 3DGRUT生成的usdz模型文件包含default.usda、gauss.usda等描述文件和nurec格式模型文件，可直接解压使用 [4] Isaac Sim中的操作流程 - Isaac Sim的神经渲染功能NuRec需5.0.0以上版本（Omniverse Kit 107.3以上），安装后可通过Content栏导航到usdz模型解压文件夹，将gauss.usda拖动或插入Stage，即可显示三维高斯模型 [5] - 导入的3DGRUT模型仅具备视觉特征，需通过2DGS等方法提取场景mesh（ply格式），并调整mesh的scale和位姿以匹配usdz渲染结果 [6][7] - 需将usdz模型与mesh绑定，在gauss的Property中选择Raw USD Properties，找到proxy并添加Target，选择mesh对象，最后勾选omni:nurec:useProxyTransform特性以实现对齐 [7] 物理属性与交互功能 - 需为mesh添加物理属性，右键选择mesh，在Add中选择Physics->Collider，以增加碰撞属性，避免物体穿透问题 [8] - 在mesh的Property中勾选Matte Object，配合DomeLight光照实现光影交互效果，同时可添加OmniPBR材料并将Reflectivity中的Specular降至最低，减少不必要的反光 [8] - 添加Rigid Body with Colliders Preset属性后，可进一步设置质量等物理属性，使模型与仿真环境中的其他物体（如球体、地面）产生碰撞交互 [14] 动态物体与场景构建 - 通过3DGS方法训练场景（如mipnerf360的kitchen），使用在线工具编辑ply文件提取特定物体（如乐高推土机），再经3DGRUT转化为usdz模型，可实现动态物体导入 [11][13] - 将动态物体（如推土机）放入其他神经渲染场景（如garden或room），可实现模型间及模型与原生物体的动态交互，显存占用较低，在3090显卡上fps表现良好 [15][17] 未解决的问题与挑战 - 神经渲染模型间的光影交互关系尚未完全解决，例如推土机未在神经渲染背景中投下阴影 [18] - 仿真环境测试具体算法的效果尚未探究，例如在room环境中让VLA算法执行"捡起地毯上的乐高推土机"指令的可行性 [19] - 需解决如何快速提供rgb图像外的真值信息（如图像分割、对象标注标签），以及如何获取动态物体的物理属性真值（如硬度、摩擦系数、质量） [19] - 需进一步提升计算效率，以支持更大规模神经渲染场景和更多对象的实时仿真 [19]

产品发布与定位 - 谷歌DeepMind正式发布新一代通用机器人基座模型Gemini Robotics 1.5系列 成为全球首个具备模拟推理能力的具身模型[3][5] - 该系列由两大模型组成：GR 1.5负责动作执行的多模态大模型 GR-ER 1.5强化推理能力并提供规划与理解支持[4][6] - 两大模型协同工作 其中GR-ER 1.5不执行实际操作 而GR 1.5专为执行层设计 两者结合实现"先思考再行动"的完整闭环[6][7][37] 技术能力与创新 - 模型具备执行复杂长程任务能力 可将多步任务分解为多个阶段并逐一完成 例如分拣深浅色衣物或根据天气打包行李[7][11][13] - 引入全新Motion Transfer机制 将不同机器人平台的运动轨迹映射到统一动作语义空间 实现零样本跨平台技能迁移[9][19][46] - 在230项任务基准测试中 模型在指令泛化、动作泛化、视觉泛化和任务泛化四个维度表现优异 明显优于前代模型[58] - 长时序任务完成进度分数最高接近80% 几乎是单一VLA模型的两倍[59] - 在ASIMOV-2.0安全基准中展现出更高风险识别与干预能力 能够理解物理风险并触发保护机制[61] 应用场景与性能 - 可驱动多种机器人硬件包括低成本双臂机器人ALOHA、工业级Franka和人形机器人Apollo 实现丝滑无缝迁移[16][17] - 能够根据特定要求自主上网搜索信息 例如根据不同城市的垃圾分类标准帮助完成分类任务[8] - 具备自我检测与修正能力 在操作失败时可立即转换方案 例如抓取水瓶失败后改用另一只手完成[31] - 能识别潜在风险并避免危险动作 确保在人类环境中的运行安全性[32] 技术架构与数据 - 两款模型均基于Gemini基础模型构建 并使用适应物理空间操作的数据进行微调[34] - GR 1.5作为执行者 直接将自然语言和视觉输入转化为低层级机器人动作[35] - GR-ER 1.5作为大脑指挥官 负责理解复杂任务、做出高层规划并调用外部工具及监控进度[36] - 训练数据包括真实机器人在ALOHA、Franka、Apollo等平台完成的成千上万种操作数据 以及互联网中的文本、图像与视频信息[39][40] - 约90%以上的迭代在MuJoCo仿真环境中完成 显著提升研发效率并保证现实硬件执行的稳定性与安全性[47][48] 行业影响与定位 - 该模型代表谷歌将通用AI推向现实世界的重要里程碑 使机器人从执行单一指令转向对物理任务进行真正理解和解决问题[10][64] - 在学术基准测试中 GR-ER 1.5在空间推理、复杂指点和进度检测等任务上全面超越GPT-5和Gemini 2.5 Flash[56] - 具备显性思考能力 行动前会用自然语言拆解复杂任务 提升可解释性和信任感[24][25][51]

编辑丨 量子位 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 视觉-语言-动作模型是实现机器人在复杂环境中灵活操作的关键因素。 然而，现有训练范式存在一些核心瓶颈，比如数据采集成本高、泛化能力不足等。 为此，研究团队提出了 SimpleVLA-RL 。基于veRL框架，他们实现了针对VLA模型的交互式轨迹采样与并行仿真渲染机制。 降低对大规模演示数据的依赖，提升数据效率； 增强模型在分布偏移场景下的泛化能力； 实现高效的Sim-to-Real迁移，提升真实世界任务性能。 此外，模型在训练过程中还展现出自主探索能力，并涌现出新的操作策略，例如通过"推动"替代"抓取"的 Pushcut现象 。这些结果表明， SimpleVLA-RL为VLA模型的高效训练与泛化能力提升开辟了新的研究路径。 SimpleVLA-RL：端到端在线训练方案 VLA模型作为机器人操控领域的重要研究范式，旨在融合视觉感知、语言理解与动作生成，从而在复杂物理环境中实现灵活的任务执行。 ...

具身智能之心国庆和中秋优惠来啦！ 知识星球、具身课程、硬件、论文辅导、超级折扣卡 等大额活动。 活动时间：9.24-10.12 知识星球 具身智能之心新人加入7折，老学员续费5折优惠。 具身课程 VLA、VLN、Diffusion Policy、强化学习、仿真等 多门课程8折优惠 。 超级折扣卡 购买超级折扣卡， 1年内所有课程7折优惠 。 自驾 + 具 身 所有课程 预售课程除外 -班+八班。 ▲星球福利 / xing QIU FU LI 7折优惠，立减80 7折优惠, 立减99 节后将再次涨价 赠送7门精品课程 自动驾驶之心 具身智能之心 ▲福利专区 /FU LI ZHUAN QU 1. 大模型星球 99元一年，（技术 + 行 业 + 求职) 论文辅导 1v1论文辅导，1000最多抵扣5000元 1v6 vla论文辅导，立减1000元 具身科研硬件 强化学习平台 具身机械臂（舵机版） 2. 1v1辅导辅导最高1000抵扣 5000 3. 1v6论文辅导立减 1000 4. 超级折扣卡:*299元自驾课程七折 优惠(一年期) ▲ 硬件福利 /YIN JIAN FU LI · 全栈教研平台黑武士001 · 足 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Wei Gao等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 一、核心背景与问题提出 机器人端到端操作策略为实体智能体理解和交互世界提供了巨大潜力。与传统模块化流水线不同，端到端学习能缓解模块间信息损失、孤立优化目标导致的特征 错位等关键局限，但现有端到端神经网络（包括基于大视觉-语言-动作（VLA）模型的方法），在大规模实际部署中性能仍显不足——尤其是在可靠性、精度 上，甚至逊色于工程化成熟的传统模块化流水线，且在面对未见过的物体或不同机器人平台时，泛化能力短板更突出。 为填补"泛化潜力"与"实际性能需求"的差距，本研究提出一种以"可用性（affordance）"为核心的端到端机器人操作方案：将可用性定义为"任务相关、语义明确 的物体局部区域"，并通过"任务特定的定向关键点"来具象化这一概念，最终形成"移动定向关键点链（Chain of Moving Oriented Keypoi ...

今年的国庆和中秋赶在一起了，首先提前祝大家节日快乐。也希望每个人都能好好放松下，包括峰哥自己 也真的需要relax下。做了这么久的社区运营和媒体，几乎每天都在线，随时都要处理同学们的问题。 最近在做一个什么事情呢？ 主要推进硬件和社区还有很多公司的商务。 前面有很多同学一直向峰哥吐槽硬件贵、不好用。这块我们正在努力找合适的方案，不久就会推给大家。 近期正在推进一些具身产品的测试和开发，期望能给大家提供几个使用还不错的平台。 到时候，会第一时 间在我们的具身智能之心知识星球公开。 还有就是想着完善社区，减少盲区和不完善的体系。体系大，零散，需要投入很多时间整理。所以小长假 前，还要努力一把子，节后给大家呈现更好的内容。 我们也陆续收到了很多高校在具身方向的招生需求，特别是RA、博士、博士后。感兴趣的同学也提前26年 的升学、工作做好准备，和老师熟悉起来，关注我们日常的一些招生信息。正在秋招或者社招的同学，简 历也可以随时砸给我们，第一时间帮大家内推。 所有的内容都会第一时间沉淀到我们的具身社区内，具身智能之心知识星球一致努力打造成为超大的具身 与机器人社区，期望能够在大家最需要帮助的时候解决问题，求职的时候能够 ...

面向具身科研领域打造的轻量级高性价比机械臂 还在为具身领域的硬件发愁吗？太贵的硬件买不起，太便宜的机械臂不好用，有没有一款价格低但质量很 高的产品？ Imeta-y1来了！低成本可以完成具身领域论文的验证，科研场景的开发，满足大多数从业人员和科研工作者 的需求。 这是一款专为教育、科研与轻工业场景设计的轻量级机械臂。 该机械臂融合高精度运动控制、低功耗设计与开放软硬件架构，支持从仿真到真机的无缝联调，并提供全 流程开源SDK与工具链，助力用户快速实现算法验证、数据采集、模型训练与部署应用。 其紧凑型结构与模块化接口，尤其适用于嵌入式AI与机器人学习平台的开发与应用推广。 | 重量 | 631g | | --- | --- | | 尺寸 | 见附页 | | 行程 | 0~80mm | | 定位精度 | 40.5mm | | 外部接口 | 电源+CAN XT30 2+2 | | 重量 | 671g | | --- | --- | | 尺寸 | 见附页 | | 行程 | 0-80mm | | 定位精度 | 40.5mm | | 外部接口 | 电源+CAN XT30 2+2 | | 本体重量 | 4.2KG | 额定 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 >>直播和内容获取转到 → 具身智能之心知识星球 点击按钮预约直播 RoboDexVLM是 一个面向配备灵巧手的协作机械臂的创新型机器人任务规划与抓取检测框架。 现有方法通常聚焦于简化且受限的操作任务，往往忽视了以长时序方式抓取多样化物体所伴随的复杂性。相比之下， RoboDexVLM 框架利用灵巧手 能够 抓取不同形状和尺寸物体 的能力，同时基于自然语言指令执行任务。 该方法的核心组成部分如下： 首先，设计了一个具备任务级恢复机制的鲁棒任务规划器 ，它利用视觉语言模型使系统能够解析并执行开放词汇指令以完 成长序列任务。 其次，提出了一种基于机器人运动学和形式化方法的语言引导灵巧抓取感知算法 ，专为面向多样化物体和指令的零样本灵巧操作而设 计。全面的实验结果验证了 RoboDexVLM 在处理长时序场景和执行灵巧抓取方面的有效性、适应性和鲁棒性。这些结果突显了该框架在复杂环境中运行 的能力，展示了其在开放词汇灵巧操作方面的潜力。 论文标题 ： RoboDexVLM: Visual Language Model-Enabled Task Planning an ...

想象一下，如果能通过语言下达指令，并且丝滑执行任何你想要的动作，是一件多么幸福的事情！如果能长时 间连续动作完成，将会非常方便。下面给大家介绍下VLA到底是啥？ VLA打破了传统方法的单任务局限，使得机器人能够在多样化的场景中自主决策，灵活应对未见过的环境， 广泛应用于制造业、物流和家庭服务等领域。此外，VLA模型已成为研究热点，推动了多个前沿项目的发 展，如pi0、RT-2、OpenVLA、QUAR-VLA和HumanVLA，这些研究促进了学术界与工业界的合作。其适应性 体现在能够应用于机械臂、四足机器人和人形机器人等多种平台，为各类智能机器人的发展提供了广泛的潜力 和实际应用价值，成为智能机器人领域的关键驱动力。 从今年各个机器人与AI顶会来看，VLA及其相关衍生方向，占据了近一半的具身产出。特别是长程操作、泛 化、少样本、VLA+RL、人形相关。 从产业角度看，国内外具身智能领域正处于蓬勃发展阶段，Unitree、智元、星海图、银河通用、逐际动力等团 队从实验室走向商业化，华为、京东、腾讯等科技巨头也积极布局，与国外Tesla、Figure AI等公司正在一起 推动这一领域的发展。 很多同学后台留言，咨 ...