具身智能之心
搜索文档
MuJoCo教程来啦!从0基础到强化学习,再到sim2real
具身智能之心· 2025-10-20 00:03
具身智能行业趋势 - 行业正处于前所未有的转折点,从符号推理、深度学习到大语言模型,如今具身智能正在全面崛起 [1] - 全球顶尖科技公司如Tesla、Boston Dynamics、OpenAI、Google等均在竞相布局具身智能领域 [1] - 具身智能将彻底改变制造业、服务业、医疗健康、太空探索等几乎所有行业 [1] MuJoCo技术核心价值 - MuJoCo是连接虚拟世界与现实世界的重要桥梁,为机器人学习提供高保真、高效率的训练环境 [4] - 仿真速度可比现实时间快数百倍,并能通过域随机化技术将仿真中训练的策略成功迁移到真实世界 [6] - MuJoCo采用先进的接触动力学算法,支持高度并行化计算,并提供丰富的传感器模型,已成为学术界和工业界的标准工具 [6][8] 技术能力培养体系 - 课程采用项目驱动的学习方式,包含六个层次递进的实战项目,从机械臂控制到Sim-to-Real迁移 [11][16][17] - 项目设计涵盖MuJoCo建模、物理仿真、强化学习、机器人控制、多智能体系统等完整技术栈 [17][20][22][24][26][28][29] - 学员将掌握现代AI开发工具链,包括Python生态、深度学习框架、版本控制等,培养独立解决复杂问题的能力 [13][32][33]
稳定训练、数据高效,清华大学提出「流策略」强化学习新方法SAC Flow
具身智能之心· 2025-10-20 00:03
文章核心观点 - 提出一种名为SAC Flow的新方案,使用高数据效率的强化学习算法SAC来端到端优化真实的流策略,无需采用替代目标或策略蒸馏 [1] - 核心创新在于将流策略的多步采样过程视为一个残差循环神经网络,并引入GRU门控和Transformer Decoder两套速度参数化方法来稳定训练 [1][8] - 该方法在MuJoCo、OGBench、Robomimic等多个基准测试中实现了极高的数据效率和显著的性能提升,达到SOTA水平 [1] 研究背景与问题 - 流策略因其建模多峰动作分布的表达能力及比扩散策略更简洁的优势,在机器人学习领域热门,并被广泛应用于先进的VLA模型如π_0、GR00T等 [4] - 使用数据高效的off-policy RL算法(如SAC)训练流策略时会出现训练崩溃,原因是流策略的K步采样推理导致反向传播深度等于采样步数K,引发梯度爆炸或消失 [4][7] - 现有工作通过使用替代目标或策略蒸馏来规避此问题,但牺牲了流策略本体的表达能力,未能真正端到端优化流策略 [5] 技术方法:SAC Flow - 将流策略的每一步中间动作视为隐状态,Euler积分过程等价于一个残差RNN的单步前向,从而将流策略的K步采样反传等价于对RNN网络的反传 [10] - 提出两种速度网络参数化方式:Flow-G(GRU门控结构)自适应决定保留当前动作或写入新动作以抑制梯度放大;Flow-T(Transformer Decoder)在全局状态语境下稳态细化动作 [16][17] - 通过添加高斯噪声和配套漂移修正,解决SAC熵正则化中确定性K步采样无法直接给出可积密度的问题,使SAC的损失函数可直接用流策略多步采样的对数似然表示 [14] - 支持两种训练范式:对于密集奖励任务可从头开始训练;对于稀疏奖励任务且拥有示例数据的场景,支持离线预训练后再进行在线微调 [18] 实验结果 - 在MuJoCo的Hopper、Walker2D、HalfCheetah、Ant、Humanoid、HumanoidStandup环境中,SAC Flow-T/Flow-G能够稳定快速地收敛,并取得更高的最终回报 [20] - 消融实验表明,SAC Flow-T和Flow-G能有效稳定梯度范数,防止训练崩溃,而直接使用SAC微调流策略则会出现梯度爆炸 [24][26] - 方法对采样步数K具有鲁棒性,在K=4/7/10的条件下均能稳定训练,其中Flow-T对采样深度的鲁棒性尤其强 [27] - 在OGBench的Cube-Triple/Quadruple等高难度任务中,SAC Flow-T收敛更快,整体成功率领先或持平现有off-policy基线(如FQL、QC-FQL) [30] - 相比扩散策略基线(如DIME、QSM),基于流策略的方法普遍收敛更快,而SAC Flow在此基础上性能进一步超越FlowRL [30]
移动操作&双臂操作开源硬件与方案
具身智能之心· 2025-10-20 00:03
行业趋势与开源生态 - 机器人技术正从单一机械臂迈向“手脚协同”的移动操作时代,开源力量成为打破技术壁垒、加速创新落地的关键引擎 [3] - 近两年国内外涌现的优质开源方案为科研人员、开发者和创客提供了前所未有的便利,涵盖从硬件设计到软件框架、从仿真平台到真实部署的全链条资源 [3] - 开源项目适用于低成本家用机器人快速搭建、工业级双臂协调控制算法探索以及跨平台通用策略训练实践等多个场景 [3] 2025年开源项目概览 - **XLeRobot**:南洋理工大学开源项目,聚焦机器人在复杂环境中的灵活运动与精细操作融合,提供移动底盘与双臂协同控制的参考框架 [4] - **AhaRobot**:天津大学推出,侧重双臂操作的自主性与环境适应性,整合感知、规划与控制模块,为动态场景中的任务执行提供算法平台 [6] - **ManiGaussian++**:清华大学在IROS 2025发布,以高斯模型为基础优化双臂操作精度,在3D环境感知与运动规划上有突破 [8][9] - **H-RDT**:清华大学与地平线机器人联合开发,聚焦移动机器人的高效决策与实时操作,提供从感知到执行的完整流程方案 [11] - **RoboTwin 2.0**:上海交通大学与香港大学合作,是集成移动与双臂操作的仿真与实物平台,提供虚实结合的开发工具 [14][15] - **Open X-Embodiment**:亚利桑那州立大学等机构开源,侧重机器人操作的通用化学习框架,支持移动与双臂操作的跨场景迁移 [16][20] - **3D FlowMatch Actor**:卡内基梅隆大学与NVIDIA开源,聚焦3D空间中的运动流匹配技术,提升移动机器人与双臂操作的动态适应性 [19][21] 2024年及更早开源项目概览 - **OmniH2O**:卡内基梅隆大学等机构开源,主打人机动作映射与仿人操作,通过human2humanoid框架实现人类动作向机器人双臂的精准转化 [24][25] - **TidyBot++**:普林斯顿大学与斯坦福大学推出,专注于家居环境下的整理类任务,整合物体识别、路径规划与双臂协作算法 [26][27] - **robosuite**:加州大学伯克利分校等机构开源的成熟机器人操作仿真平台,支持移动与双臂操作的虚拟环境搭建,提供标准化任务与评估工具 [29] - **Standard Open Arm 100 (SO-ARM100)**:是标准化的双臂操作硬件与软件方案,提供通用控制接口与驱动程序,降低开发门槛 [31][32] - **GOAT: GO to Any Thing**:UIUC、CMU等机构开源,聚焦机器人的目标导向移动与操作,实现“到达任意目标并执行操作”的核心功能 [34] - **Mobile ALOHA**:斯坦福大学开源,结合移动底盘与双臂操作,主打低成本、易部署的服务机器人方案,支持远程示教与自主学习 [35]
只需少量演示即可灵活应对多样物体!阿米奥冯骞团队携低成本精准灵巧操作方案亮相IROS!
具身智能之心· 2025-10-20 00:03
技术方案核心创新 - 提出LensDFF框架,利用语言特征作为语义锚点,通过动态投影公式将CLIP提取的2D视觉特征对齐到3D空间,从根源解决跨视角特征不一致问题,且全程无需微调或额外训练对齐网络[2] - 将5种抓取原语(捏、钩、三脚架等)融入少样本演示,搭配法向量引导初始化和低维eigengrasp优化,使DLR-HIT灵巧手能根据物体形状自适应调整手指动作,显著提升灵巧性[2] - 设计real2sim流水线实现仿真快速调参,端到端耗时压缩至13秒,比SparseDFF快3秒、比F3RM快近5分钟[2] 性能表现与实验数据 - 在12个YCB物体测试中,单视角抓取成功率超40%(仿真)、64%(真实场景),在核心指标(>3秒成功率)上超越F3RM 16.9%、SparseDFF 15.8%[2][30][32] - 特征对齐仅需70毫秒,整体运行时间仅13秒(含SAM2与CLIP推理),真实场景成功率64%,运行时间比SparseDFF短3秒,远快于F3RM的5分钟[2][30][32] - 消融实验验证技术必要性:无特征对齐成功率0%,仅语言增强成功率34.17%,完整LensDFF方案成功率40.83%[33] 行业应用前景 - 技术使机器人在家庭服务、工业分拣等场景中,无需依赖海量数据,仅通过少量演示就能应对多样物体,为低成本落地灵巧操作提供了新路径[3][38] - 方案尤其适用于需要快速适配未知物体的场景,如柔性制造、物流分拣等对机器人操作效率和适应性要求高的领域[38] - 通过多模态大模型的特征蒸馏实现少样本学习,降低了机器人灵巧操作的数据采集和训练成本,提升了技术商业化落地的可行性[3] 公司技术背景 - 技术由阿米奥机器人公司研发,成果一作为公司联合创始人兼技术负责人冯骞,其硕博就读于德国慕尼黑工业大学,师从机器人泰斗Alois Knoll,曾是思灵机器人早期员工、研究科学家[5][39] - 公司团队为复合型作战团队,由汽车/3C大厂高管带队,涵盖科学家、大模型人才及工程落地专家,创始人刘方为小米早期员工及小米汽车自动驾驶产品技术负责人[39] - 公司专注于为全球制造业智能化转型提供核心技术,聚焦工业场景的柔性生产需求,致力于通过自主创新的机器人解决方案重构企业级生产效能[39]
端到端基础模型!VCoT-Grasp: 视觉思维链增强的机器人抓取检测大模型
具身智能之心· 2025-10-19 13:50
技术方法与创新 - 提出VCoT-Grasp模型,一种端到端的语言驱动抓取基础模型,通过引入视觉思维链(Visual Chain-of-Thought)推理来增强视觉理解能力 [2][5][7] - 模型采用两阶段推理:第一阶段根据指令预测目标物品的边界框(bounding box),第二阶段将边界框图像、原图像和指令共同输入,解码出最终抓取动作 [7] - 模型架构基于PaliGemma-3B视觉语言模型,在预测动作时,采用离散化token形式的动作头(LM Head)性能最优,平均抓取成功率可达69.16% [7][8][12] 数据集构建 - 为训练模型构建了高质量数据集VCoT-GraspSet,该数据集在Grasp Anything基础上通过开集检测模型YOLO-World进行优化 [9] - 数据集包含167K张合成图像和1.36M抓取标签,以及400张实机采集数据和1200个手动标注的抓取标签 [9][10] 性能表现 - 在数据集测试中,VCoT-Grasp模型(使用LM Head)在已见物体上的抓取成功率为83.60%,在未见物体上为58.98%,平均成功率为69.16%,显著优于对比方法 [11][12] - 实机测试显示,VCoT-Grasp在15种已见物体上的整体抓取成功率为0.71(71%),优于GR-ConvNet+CLIP的0.55和RT-Grasp的0.53 [12] - 模型在面对背景变化和干扰物时表现出强鲁棒性,在原始场景、背景变化和存在干扰物的场景下,抓取成功次数分别为19/25、21/25和16/25 [16]
ROSCon China 2025 大会议程公布!
具身智能之心· 2025-10-18 16:03
大会基本信息 - ROSCon China 2025将于2025年10月31日至11月1日在上海虹桥新华联索菲特大酒店举行 [4] - 大会旨在提供从技术深度到落地实效的全维度内容,汇聚核心开发者、产业领袖和资深工程团队 [4] - 目标参会人群包括机器人开发者、企业技术负责人、高校科研人员及机器人爱好者 [4] 10月31日主会场议程 - 上午议程涵盖开幕式、主旨发言及来自英伟达、英特尔、索尼和Arm的技术分享,主题包括数据生成最佳实践、具身智能开发实践、开源社区合作及边缘AI赋能 [5] - 下午议程聚焦多机器人协同控制、具身智能中的VLA/VLN技术、人形机器人解决方案及行业经验分享,演讲方包括华中科技大学、地瓜机器人、英飞凌、华南理工大学等 [5][6] - 闪电会议环节包含全自主ROS无人船和机器人技术迁移等简短主题分享 [6] 11月1日主会场议程 - 上午议程涉及人工智能在大健康领域应用、具身智能基座平台、ROS算法突围、机器人足球及合成数据等主题,演讲方包括华南理工大学、非夕科技、擎朗智能、光轮智能等 [8] - 下午议程覆盖从ROS到openEuler的实践、RISC-V MCU技术、飞行汽车、Jetson Orin开发工具链及机器人中间件等话题,演讲方包括华为、先楫半导体、清华大学、矽递科技等 [8] Workshop分会场与特别活动 - 10月31日下午举办由NVIDIA深度学习培训中心主办的AI实战培训,主题为“使用NVIDIA Isaac加速机器人开发”,该课程原价值每学员3500元,现场免费提供50个名额 [9] - 11月1日下午举办《具身智能训练场》Workshop,由刻行时空和穹彻智能主办 [9] 赞助商与社区服务 - 大会设有铂金赞助商、金牌赞助商和银牌赞助商等多个赞助级别 [12][13][14] - 公众号同时提供具身智能方向的论文辅导服务、知识星球社区及技术交流群,社区汇总了30多条学习路线、40多个开源项目及近60个数据集 [25][26][27][28]
港科广&清华联合提出Spatial Forcing:隐式空间对齐,超越主流2D/3D VLA模型性能
具身智能之心· 2025-10-18 16:03
文章核心观点 - 提出一种名为Spatial Forcing (SF)的新方法 该方法无需依赖显式的3D传感器输入 而是通过隐式空间对齐策略 使视觉-语言-动作模型在训练过程中自发形成空间感知能力 从而显著提升机器人在真实物理世界中的操作性能 [2][10][16] 技术背景与现有范式局限 - 当前主流的视觉-语言-动作模型大多仅依赖2D视觉数据 缺乏对真实3D空间的深层理解 难以应对复杂的物理世界操控任务 [2] - 现有3D VLA模型尝试通过深度相机或激光雷达引入显式3D信息 但面临传感器数据质量低 不同机器人传感器类型和安装方式差异大 以及无法利用现有纯2D大规模机器人数据集等限制 [2][8] - 另一种方法是使用深度估计网络从2D图像中估计3D信息 但效果受限于离线深度估计器的性能 导致训练结果非最优 [9] Spatial Forcing方法论 - 方法核心是通过将VLA骨干网络的中间层视觉特征 对齐到外部3D基础模型生成的强大3D几何表征 使模型隐式获得空间理解能力 [10][16] - 具体流程包括:使用预训练的3D基础模型提取像素级空间表征 取出VLA模型的视觉token并通过MLP投影 计算与3D表征的余弦相似度作为空间对齐损失 并与动作生成损失共同优化模型 [16] - 实验发现 在VLA骨干网络中较深但非最深的注意力层施加空间对齐监督 能最有效地提升模型动作表现 [16] - 在推理阶段 该方法不会带来额外的结构或计算开销 模型运行方式与普通VLA完全一致 具备高实用性与可扩展性 [16] 实验验证与性能提升 - 深度探测实验表明 在纯2D图像数据上预训练的传统VLA模型 其视觉特征无法生成有意义的深度结构 缺乏准确的空间感知 [11][13] - 在LIBERO仿真环境中 该方法超越了主流2D和3D VLA模型 平均任务成功率达到了98.5% 优于GeoVLA的97.7%和3D-CAVLA的98.1% [18] - 在真实机器人环境的双臂和单臂操作任务中 该方法显著提高了任务成功率 [14][18] - 该方法展现出卓越的训练效率和数据利用效率 训练效率提升高达3.8倍 数据利用效率提升高达5.9倍 [14] 技术优势总结 - 该方法的核心优势在于让机器人无需看3D也能懂3D 解决了显式3D方法对特定传感器的依赖问题 并能够充分利用现有的大规模2D机器人数据集 [2][10]
从300多篇工作来看, VLA是否为通向通用具身智能的必经之路?
具身智能之心· 2025-10-17 16:02
文章核心观点 - 视觉语言动作模型代表了从传统控制向通用机器人技术的范式转变,将视觉语言模型重塑为能在复杂动态环境中决策的主动智能体 [2] - 文章旨在通过综述形式对VLA研究领域提供清晰的分类法和全面回顾,探讨其作为通用具身智能发展路径的价值 [2][5] - 基于对三百多项近期研究的综合,文章描绘了该快速演进领域的轮廓,并指出塑造可扩展通用VLA方法发展的机遇与挑战 [2] VLA模型研究方法论 - VLA方法被划分为几种主要范式:基于自回归的、基于扩散的、基于强化的、混合方法以及专门化方法 [2] - 研究详细审视了各种范式的动机、核心策略与实现 [2] - 研究介绍了基础性的数据集、基准测试以及仿真平台 [2] 直播内容重点 - 直播将探讨VLA的起源和研究细分,分析热点方向和未来发展趋势 [5] - 直播精彩看点包括VLA研究领域分类、VLA和强化学习结合、Sim2Real等关键技术话题 [6] - 直播时间为10月18日19:30-20:30,由兰州大学和新加坡国立大学的嘉宾分享 [5][6] 深度内容扩展 - 知识星球提供完整版深度内容,涵盖所有技术细节、QA及未公开彩蛋 [8] - 扩展内容涉及灵巧手设计与难题、Agent概念探讨、Spec-VLA推理加速框架、跨实体世界模型等前沿话题 [8] - 深度解析保持精度提升速度的Spec-VLA框架,这是首个专为VLA推理加速设计的推测解码框架 [8]
穹彻智能获阿里投资,加速具身智能全链路技术突破
具身智能之心· 2025-10-17 08:12
公司概况 - 公司由具身智能领域领军人物卢策吾教授带领,兼具学术高度与产业经验 [1] - 公司具备从技术研发到商业化交付的全栈能力 [1] - 公司核心技术为基于力的具身智能大脑技术,突破传统轨迹控制框架 [1] - 公司构建了覆盖感知、认知、规划与执行的全链路自主决策体系 [1] - 公司依托多模态大模型与深厚的力觉数据积累,实现对物理世界的高维理解和柔性操作 [1] 融资与资金用途 - 公司近日宣布完成新一轮融资,由阿里巴巴集团投资,多位老股东追投 [1] - 本轮资金将用于加速技术产品研发、具身应用落地和行业生态拓展 [1] 技术与业务进展 - 公司正凭借“以力为中心”的具身智能大模型技术,持续突破数据采集、模型训练与人机协作部署等关键环节 [1]
独家|穹彻智能获阿里新一轮融资,上交教授卢策吾领衔,突破无本体数据采集,打通具身智能全链路
具身智能之心· 2025-10-17 07:46
融资与资金用途 - 公司于近期完成新一轮融资,投资方包括阿里巴巴集团以及多位老股东追投 [2] - 本轮融资资金将用于加速技术产品研发、具身应用落地和行业生态拓展 [2] - 公司成立于2023年底,此前已完成数亿元Pre-A++轮及Pre A+++轮融资 [4] 技术与产品进展 - 公司快速迭代自研的实体世界大模型和“以力为中心”的具身智能大模型 [4] - 于今年推出穹彻具身大脑升级版产品Noematrix Brain 2.0 [4] - 在关键技术领域取得进展,包括无本体数据采集方案、通用端到端模型方案以及人机协作的规模化部署系统 [4] - 致力于打通从数据采集、模型预训练到后训练的完整技术链 [4] - 公司核心技术为基于力的具身智能大脑技术,突破传统轨迹控制框架 [8] - 构建了覆盖感知、认知、规划与执行的全链路自主决策体系 [8] - 依托多模态大模型与力觉数据积累,实现对物理世界的高维理解和柔性操作 [8] 商业化与合作伙伴 - 公司已与零售、家居领域多家头部企业达成合作 [6] - 合作旨在推进软硬件一体化具身智能解决方案的批量交付 [6] - 未来将依托大模型产品和数据至模型闭环能力,持续提供创新实用的解决方案 [6] - 公司具备从技术研发到商业化交付的全栈能力 [8] 管理与团队 - 公司由具身智能领域领军人物卢策吾教授带领,兼具学术高度与产业经验 [8]