视觉-语言-动作模型综述的核心观点 - 该综述系统性地总结了纯视觉-语言-动作方法的研究现状，旨在填补现有综述在纯VLA方法上的空白，并提出清晰的分类体系以阐明该领域的演进轨迹 [4][8] - VLA模型通过提供统一框架将视觉感知、语言理解和可执行动作相结合，标志着通用具身智能发展的重要一步，其目标是克服传统机器人系统在动态和非结构化环境下泛化能力差的问题 [11][14] - 该领域正从单一生成范式向混合架构演进，结合自回归、扩散和强化学习等多种范式的优势，以应对复杂任务，并朝着更高效、安全且易于部署的通用机器人系统发展 [18][56][57] 背景与发展脉络 - VLA模型的发展建立在单模态建模突破的基础上，早期LLM/VLM基础模型如Transformer架构和对比学习方法为多模态整合奠定了方法学基础 [12][13] - 从LLM/VLM到VLA模型的演进体现在将图像、指令和机器人状态统一编码为token，并通过自回归生成动作序列，从而在单一序列建模框架下实现感知-语言-动作的闭环 [14] - VLA模型被视为实现通用具身智能的关键前沿，其通过结合视觉编码器、大语言模型和强化学习的决策能力，展现出弥合“感知-理解-行动”鸿沟的重要潜力 [17] VLA方法学范式 自回归范式 - 自回归模型通过将动作序列视为时间相关过程，在Transformer架构中统一多模态感知和动作生成，支持跨任务泛化的通用代理，代表性工作包括Gato、RT-1/RT-2和PaLM-E [19][21] - 该范式通过引入LLM实现语义规划和分层推理，增强了长时任务和复杂指令的处理能力，但面临误差累积、多模态对齐脆弱以及高计算成本等限制 [24][26][32] - 结构优化方向聚焦于降低计算冗余和提升实时性，采用层级分解、自适应推理和轻量化压缩等策略，以改善部署效率 [30][31] 扩散范式 - 扩散模型将机器人控制重新表述为概率生成问题，通过条件去噪过程支持多样化的动作分布生成，在几何一致性（如SE(3)约束）和视频生成式规划方面展现出优势 [33][37] - 多模态架构融合趋势将Transformer与扩散模型结合，实现异质模态的统一表征，并引入显式推理模块和领域专用设计（如力觉感知）以提升性能 [38][39] - 应用优化方向通过轻量化设计（如TinyVLA）、认知启发式架构和运行时鲁棒性机制，推动模型从实验室原型向真实世界部署过渡 [40][42][44] 强化学习范式 - 强化学习微调策略通过视觉和语言信号生成可迁移的奖励代理，结合离线行为克隆和在线强化学习稳定策略优化，并扩展至四足机器人、人形机器人和自动驾驶等场景 [48][51][53] - 安全导向方法如SafeVLA引入约束学习对齐机制，在开放环境中防止高风险动作，但奖励工程的噪声信号和训练稳定性仍是挑战 [50][54] - 效率优化策略采用量化、剪枝和知识蒸馏等技术，在保持任务成功率的同时降低内存使用和提升推理速度 [53] 混合与专用方法 - 混合架构整合自回归、扩散和强化学习等多种范式，以兼顾推理精度与动作生成的物理一致性，代表性工作如HybridVLA在单一框架中结合扩散轨迹和自回归推理 [56][57] - 高级多模态融合强调3D空间理解和显式几何约束建模，从早期2D特征拼接转向模块化、具3D意识的架构，以提升在非结构化环境中的操作可靠性 [59][60] - 领域适配将VLA原则扩展至自动驾驶、人形机器人控制和GUI交互等特定场景，通过专用数据集（如CoVLA）和层级化设计解决领域独特挑战 [61][62] 数据集与仿真资源 - 高质量数据集是VLA模型发展的基石，真实世界数据集如Open X-Embodiment整合了来自21个机构的22个机器人数据集，覆盖527种技能和160,266个任务，显著提升了模型的泛化能力 [16][71][76] - 仿真数据集通过虚拟环境生成大规模标注数据，支持可扩展训练和安全测试，代表性平台包括THOR、Habitat和CARLA，它们提供了多样化的交互场景和传感器配置 [16][80][81] - 基准评测常用成功率、语言跟随率和轨迹误差等指标，并通过迁移到未见环境评估模型的鲁棒性，仿真基准如VIMA-BENCH和CALVIN设计了多级协议以系统化测试泛化能力 [76][79][82]

行业竞争格局 - 国内具身智能领域公司数量已接近200家，包括机器人公司、互联网公司和二级研究院，业务和产品相似度高，行业面临内卷 [1] - 部分公司选择将本体研发与应用场景验证分离，通过开发者验证后集成算法，这种策略被认为更聪明，有助于度过行业寒冬 [1] - 行业洗牌是必然趋势，真正能留存下来的将是技术栈丰富、能实现落地应用的公司，抱着"捞一波"心态的企业难以长久 [1] 技术社区生态 - 具身智能之心知识星球定位为超大型具身与机器人社区，覆盖产业、学术、求职和问答交流，形成闭环生态 [5] - 社区汇总近30+技术路线，包括benchmark、综述和入门路线，帮助用户缩短检索时间 [6] - 社区邀请数十位一线产业界和工业界嘉宾，提供圆桌论坛、直播等内容，覆盖本体、数据到算法等前沿话题 [6] 技术研究覆盖范围 - 社区技术内容全面覆盖数据采集、灵巧手、VLA模型、VLN模型、多传感器融合、分层感知操作、机器人操作系统等15个核心领域 [7] - 具体研究方向包括RoboTwin 2.0数据生成器、BridgeVLA模型真机性能提升32%、具身4D世界模型EnerVerse等前沿技术突破 [7] - 社区还关注触觉感知、大模型规划推理、模型加速、微调等细分领域，如Spec-VLA推测解码框架等创新方案 [7] 资源整合与学习体系 - 社区汇总40+开源项目、60+数据集、主流仿真平台及各类技术学习路线，包括具身智能感知、交互、强化学习等10余个方向 [15][16] - 学习体系涵盖从基础到进阶的全栈内容，包括机械臂策略学习、双足/四足机器人、大模型部署等实用技能 [16] - 社区还提供国内外高校实验室汇总、公司汇总、行业研报、零部件品牌、开源数据集等全方位资源支持 [19][23][25][30][35][38] 社区影响力与成员构成 - 社区成员来自斯坦福大学、清华大学等国内外知名高校，以及智元机器人、优必选等头部公司，覆盖近2000名用户和200家机构 [15][80] - 社区建立岗位内推机制，与多家具身公司合作，为成员提供求职辅导和就业机会 [6][7] - 社区内容持续更新，每日投入优化，旨在培养行业未来领袖，推动具身领域进步 [3][13]

具身智能之心是国内具身领域优秀的创作平台，致力于推动具身产业的发展、人才的培育。 我们高度重视产业和学术领域的最新进展，持续创作最新内容。一个产业的发展需要众人不断地持续推 进，具身智能之心诚邀学术界&工业界大佬加入我们一起创作，为全行业带来最专业和最有深度的工 作，让更多人受益。 主要创作内容 最新技术/paper分享、核心技术模块讲解、行业类分析文章、深度的技术栈分享； 联系我们 提供一定的稿费支持和个人IP扶持，加入我们的圈子和我们一起共享行业资源。更多详细内容欢迎添加 微信：oooops-life咨询。 ...

行业研究热点与方向 - 视觉-语言-行动模型及其相关衍生方向在机器人与人工智能顶会中占据了近一半的具身智能产出 [1] - 研究热点集中在长程操作、泛化、少样本学习、视觉-语言-行动模型与强化学习结合以及人形机器人相关领域 [1] - 视觉-语言-行动模型打破了传统方法的单任务局限，使机器人能在多样化场景中自主决策并灵活应对未见过的环境 [4] 技术演进与应用前景 - 视觉-语言-行动模型的技术演进包括从早期的抓取位姿检测到行为克隆，再到近期的Diffusion Policy和多模态基础模型 [9] - 前沿模型如RT-2、OpenVLA和PI0实现了从视觉输入和语言指令到机器人动作的端到端映射 [10] - 该模型广泛应用于制造业、物流和家庭服务等领域，并适用于机械臂、四足机器人和人形机器人等多种平台 [4] 产业发展与市场格局 - 国内外具身智能领域处于蓬勃发展阶段，Unitree、智元、星海图、银河通用、逐际动力等团队正从实验室走向商业化 [6] - 科技巨头如华为、京东、腾讯以及国外的Tesla、Figure AI公司均在积极布局该领域 [6] - 视觉-语言-行动模型已成为智能机器人领域的关键驱动力，推动了学术界与工业界的合作 [4] 核心挑战与前沿方向 - 具身智能面临的核心挑战包括跨域泛化、长期规划与世界模型构建 [10] - 前沿发展方向包括多模态感知融合、触觉反馈整合、基于物理的推理以及社会互动能力 [10] - 研究空白与机会存在于长期记忆、视觉-语言-行动模型与强化学习原子技能库构建、动作解码问题及多模态思维链等多个方向 [15]

点击下方 卡片 ，关注" 具身智能 之心 "公众号 编辑丨 具身智能之心 专家学习 —— 首先在全数据上训练一个基础控制策略，作为专家模型的初始点。随后，针对聚类结果在各动作簇上分别微调，得到更具针对性的专家模型。接 着，将专家模型部署到真实机器人上执行以采集轨迹，并基于这些轨迹为每个类别单独训练动作增量模型，再冻结增量模型对专家进行微调，实现对仿真与现实间 偏差的补偿。通过迭代更新，专家模型在"更优策略—更高质量数据—更精准增量—再优化专家"的循环中逐步提升性能。 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 BumbleBee 提出了一条完整的人形机器人全身控制训练流程。首先，利用 AMASS 数据集训练基础的全身控制模型；在此基础上，通过聚类区分不同类型的动作， 并分别训练相应的专家控制模型；随后，将这些专家模型部署到真实机器人上，采集执行轨迹；基于采集的轨迹序列，为每个专家模型训练对应的动作增量模型 （delta model），以缓解仿真与现实之间的差距（ ...

核心观点 - AnywhereVLA提出了一种模块化架构，旨在融合经典导航的鲁棒性与视觉语言动作模型的语义理解能力，以解决在未知大型室内环境中执行语言驱动拾取-放置任务的技术瓶颈 [3] - 该方案设计可在消费级硬件上实时运行，针对家庭服务、零售自动化、仓储物流等开放、非结构化场景 [3] 相关工作回顾：现有方案的优势与不足 - 通用视觉语言动作模型缺乏空间感知能力，难以应对大型环境 [4] - 视觉语言导航方案需预先知晓目标物体的环境位置，在动态或未探索场景中不实用 [4] - 经典导航框架缺乏语言理解与语义推理能力，无法执行语言驱动的目标导向任务 [4] - 轻量化视觉语言动作模型泛化能力仅局限于操作领域，缺乏环境探索能力 [5] - 结合视觉语言导航与SLAM的方案在185平方米环境中需10-15分钟完成探索，效率低下 [5] AnywhereVLA架构：四大核心模块与工作流 - 工作流逻辑为语言指令解析，同步指导视觉语言动作操作与主动探索，构建3D语义地图，通过前沿探索定位目标，由趋近模块导航至预抓取位姿，最后视觉语言动作执行操作 [7] - 带置信度的3D语义地图模块核心功能是融合多传感器数据，构建含目标类别、几何信息与置信度的语义点云地图 [7] - 主动环境探索模块基于“前沿探索”策略，结合语言指令中的目标类别定位目标物体 [11] - 趋近模块核心是计算机械臂可操作的安全基座位姿，确保后续视觉语言动作操作能稳定执行 [12] - 视觉语言动作操作模块基于微调后的SmolVLA模型，将视觉上下文与语言子目标转化为机械臂的抓取/放置动作 [12] VLA模型微调与硬件平台 - 模型微调使用NVIDIA RTX 4090，数据集为50个SO-101机械臂的拾取-放置片段 [15] - 训练参数包括批量大小16，余弦衰减学习率调度器，AdamW优化器 [15] - HermesBot移动操作平台专为AnywhereVLA设计，平衡传感与计算能力 [16] - 计算硬件分配中，SLAM模块处理频率10赫兹，处理时间25毫秒；语义地图模块处理频率2赫兹，处理时间45毫秒；视觉语言动作模块处理频率5赫兹，处理时间20毫秒 [16] 实验结果：性能与有效性验证 - 在未知多房间实验室中执行50次拾取-放置任务，整体成功率为46% [17][22] - 微调后的SmolVLA操作模块成功率达85%，未微调时整体成功率仅10% [22] - 各模块单独成功率分别为：SLAM 100%，主动环境探索 75%，目标检测 90%，导航 80%，视觉语言动作操作 85% [22] - 探索半径为5米时，平均任务完成时间小于133秒；探索半径为10米时，完成时间小于10分钟 [23]

面向具身科研领域打造的轻量级高性价比机械臂 还在为具身领域的硬件发愁吗？太贵的硬件买不起，太便宜的机械臂不好用，有没有一款价格低但质量很 高的产品？ Imeta-y1来了！低成本可以完成具身领域论文的验证，科研场景的开发，满足大多数从业人员和科研工作者 的需求。 这是一款专为教育、科研与轻工业场景设计的轻量级机械臂。 该机械臂融合高精度运动控制、低功耗设计与开放软硬件架构，支持从仿真到真机的无缝联调，并提供全 流程开源SDK与工具链，助力用户快速实现算法验证、数据采集、模型训练与部署应用。 其紧凑型结构与模块化接口，尤其适用于嵌入式AI与机器人学习平台的开发与应用推广。 | 本体重量 | 4.2KG | 额定负载 | 3KG | 自由度 | 6 | | --- | --- | --- | --- | --- | --- | | 工作半径 | 612.5mm | 重复定位精度 | ±0. 1mm | 底座安装尺寸 | 90mm*90mm*M5*4 | | 供电电压 | 24V | 控制器 | PC | 材质 | 铝合金 | | 通讯方式 | CAN | 外部接口 | 电源+CAN XT30 2+2 | 控制方式 ...

产品定位与目标市场 - 产品是专为教育、科研与轻工业场景设计的轻量级高性价比机械臂Imeta-y1 [1][2][3] - 旨在解决具身科研领域硬件价格高或质量差的市场痛点，满足从业人员和科研工作者对低成本高质量设备的需求 [2] - 紧凑型结构与模块化接口特别适用于嵌入式AI与机器人学习平台的开发与应用推广 [4] 核心性能参数 - 机械臂本体重量4.2KG，额定负载3KG，具有6个自由度，工作半径612.5mm [6][16] - 重复定位精度达到±0.1mm，关节运动范围覆盖J1 -165°至165°，J2 -180°至0°，J3 -0°至180°等 [6][16] - 关节运动最大速度J1-J3为180°/s，J4-J6为220°/s，供电电压24V，通讯方式采用CAN [6][16] - 夹爪重量约670g，行程0-90mm，重复定位精度±0.1mm [18][19] 技术架构与开发支持 - 提供全流程开源SDK与工具链，支持从数据采集、模型训练到推理部署的端到端算法落地 [14][30] - 兼容TensorFlow、PyTorch等主流框架，支持视觉、力控等多模态数据融合 [14][30] - 提供urdf模型，支持Gazebo等主流仿真环境与真机实时联动，实现仿真验证后一键部署至物理设备 [14][20] - 同时提供C++、Python开发接口，并支持ROS1和ROS2开发环境 [15][16] 产品生态与售后服务 - 后期将陆续升级更新VLA、VA相关源码，新老客户均可享受升级服务 [16] - 售后响应及时，非人为损坏质保半年，质保期后按市场价支付售后费用 [39] - 支持批量采购优惠，并提供基于本产品的项目开发、教学培训等服务 [16] - 公司提供完善的硬件测试流程，包括精度校准、耐久性、负载性能与稳定性验证 [35][36][37][40]

行业发展趋势 - VLA及其相关衍生方向在机器人与AI顶会中占据了近一半的具身产出 [1] - 长程操作、泛化、少样本、VLA+RL、人形相关是当前热门研究方向 [1] - 国内外具身智能领域处于蓬勃发展阶段 Unitree、智元、星海图、银河通用、逐际动力等团队从实验室走向商业化 [6] - 华为、京东、腾讯等科技巨头积极布局具身智能领域 与国外Tesla、Figure AI等公司共同推动行业发展 [6] VLA技术特点与应用 - VLA模型通过语言指令和视觉信号直接生成机器人可执行动作 打破了传统单任务训练的局限性 [7] - VLA使得机器人能够在多样化场景中自主决策 灵活应对未见过的环境 [4] - 该技术广泛应用于制造业、物流和家庭服务等领域 [4] - VLA模型可应用于机械臂、四足机器人和人形机器人等多种平台 为各类智能机器人发展提供广泛潜力 [4] 前沿研究项目 - VLA领域已推动多个前沿项目发展 包括pi0、RT-2、OpenVLA、QUAR-VLA和HumanVLA [4][7] - 这些研究促进了学术界与工业界的合作 [4] - RT-2、OpenVLA和PI0等模型实现了从视觉输入和语言指令到机器人动作的端到端映射 [10] 技术演进路径 - VLA范式技术演进包括从早期抓取位姿检测到行为克隆 再到近期Diffusion Policy和多模态基础模型 [10] - 研究关注如何将大型语言模型推理能力与机器人控制系统结合 实现从高级任务描述到低级运动规划的有效转换 [11] - PaLM-E、RT-X等模型通过多模态预训练和微调策略 增强机器人在开放环境中的适应性和鲁棒性 [11] 核心研究挑战 - 具身智能面临的核心挑战包括跨域泛化、长期规划与世界模型构建 [11] - 前沿研究方向包括多模态感知融合、触觉反馈整合、基于物理的推理以及社会互动能力 [11] - 领域未解决难点包括长期记忆、VLA+RL原子技能库构建、动作解码问题、多模态思维链等多个前沿方向 [16]

社区运营与近期动态 - 社区运营者长期在线处理用户问题，近期正推进硬件方案测试开发以解决用户反馈的硬件贵、不好用等问题 [1][2] - 社区致力于完善体系、整理内容，计划在节后呈现更完善的社区内容 [2] - 社区收到多所高校具身方向的招生需求，并为用户提供2026年升学、工作内推及辅导服务 [2] - 社区在国庆和中秋节期间推出今年最大优惠券以吸引新成员 [3] 社区资源与技术内容体系 - 社区已完成产业、学术、求职、问答交流等多个领域的闭环，提供前沿研究解决方案和求职岗位对接 [5] - 社区内部梳理了超过30种技术路线，涵盖benchmark、综述和入门路线，以缩短用户检索时间 [6] - 社区邀请了数十位活跃于产业界和工业界的一线专家作为嘉宾，为用户提供答疑解惑服务 [6] - 社区定期举办圆桌论坛和直播，内容覆盖本体、数据、算法等多个具身行业核心议题 [6] - 社区汇总了超过40个开源项目、近60个具身智能相关数据集以及行业主流仿真平台 [13] - 社区提供了包括具身智能感知、交互、强化学习、VLA、大模型部署等超过20个技术方向的学习路线 [13][14][39][42][54][62] 社区成员与合作伙伴 - 社区成员来自斯坦福大学、清华大学、上海交大等国内外知名高校，以及智元机器人、优必选、小米等头部机器人公司 [13] - 社区与近2000名用户和200家具身公司及机构建立联系，共同交流产业、学术和工程落地话题 [80] - 社区与多家具身公司建立了岗位内推机制，可第一时间将用户简历推荐至心仪公司 [7] 社区特色福利与内容模块 - 社区汇总了国内外具身智能高校和公司信息，涵盖教育、宠物、工业、医疗等多个方向 [16][19] - 社区提供大模型、人形机器人等行业研报，帮助用户了解行业发展与工业落地情况 [21][22] - 社区汇总了机器人导航、动力学、运动学等方向的PDF书籍，供用户进行基础学习 [24][25] - 社区整理了机器人行业知名零部件制造厂商信息，涉及芯片、激光雷达、相机等关键部件 [27] - 社区针对机器人仿真、抓取、控制等领域的开源项目进行了汇总，助力用户快速上手 [29] - 社区提供了包括ToF与3D相机、数据采集方案、多模态数据集等专项技术资源汇总 [31][33][35]