Workflow
Habitat系列
icon
搜索文档
上海交大具身导航中的感知智能、社会智能和运动智能全面综述
具身智能之心· 2025-09-02 00:03
文章核心观点 - 提出TOFRA框架将具身导航过程分解为状态转移、环境观测、信息融合、奖励策略构建和动作执行五个关键阶段[2] - 首次系统性整合计算机视觉、经典机器人和仿生学三大领域在具身导航方面的研究成果[2] - 指出领域面临的四大核心挑战:自适应时空尺度、联合优化、系统完整性和数据任务泛化性[2] - 详细总结具身导航相关平台工具和评估指标,包括仿真环境和真实硬件平台[2] 研究背景 - 具身智能源于图灵理念,强调通过自我感知和交互获取知识,是通向人工通用智能的重要途径[2] - 具身性体现在以自我为中心的感知方式和分布式计算能力,区别于传统基于全局地图的导航方式[2] - 人工智能进步推动导航从"路径驱动"向"智能驱动"转变,形成具身导航新范式[2] 具身导航核心特征 - 具备三类智能:感知智能通过多模态自我中心感知获取空间认知[3] - 运动智能支持高度自由度的运动技能和适应性物理交互[10] - 社会智能能够理解人类高层语义指令,支持复杂任务执行[10] 现有研究局限 - 计算机视觉方向侧重社会智能但忽视真实感知不确定性[5] - 机器人学方向聚焦感知智能但缺乏高级语义理解[6] - 神经形态方向模仿生物机制但覆盖不足社会智能和运动智能[6] - 现有综述未能统一涵盖感知、社会与运动三个维度[6] TOFRA框架详解 状态转移(Transition) - 利用动力学模型、运动认知和端到端神经网络推算下一状态[14] - 方法包括IMU积分、零速检测和活动识别等技术[21][22][23] - 发展趋势从单节点到高自由度、从几何推算到认知增强[26][29] 环境观测(Observation) - 通过外部传感器(RGB、深度、LiDAR等)感知环境[17] - 包括低层次特征提取、高层次语义认知和多智能体协作感知[27][31][39] - 多智能体协作可扩大感知覆盖范围,克服单传感器局限性[40] 信息融合(Fusion) - 经典贝叶斯方法包括卡尔曼滤波器和基于优化的方法[47][49] - 神经融合方法采用多层网络和Transformer架构[50] - 混合方法结合经典方法可解释性和神经网络学习能力[51] 奖励策略构建(Reward) - 单任务导航包括点目标、图像目标、物体目标和探索任务[54][55] - 多任务导航通过持久记忆机制减少重复探索[56] - 视觉语言导航利用大型语言模型处理自然语言指令[58] 动作执行(Action) - 基础动作技能包括轮式机器人和足式机器人的运动控制[64] - 组合技能涉及顺序技能组合和腿臂协同操作[66] - 形态协作包括轮腿机器人、陆空机器人和空陆水机器人[68] 应用场景分析 具身自动驾驶 - 依赖外部GPS和地图信息,重点学习端到端策略[76] - 输入包括环视摄像头、3D激光雷达和雷达等多模态数据[75] - 输出为车辆控制,系统隐式建模复杂OFRA流程[80] 具身室内导航 - 完全依赖自身传感器,无GPS支持[77] - 使用语义特征或神经辐射场构建世界模型[80] - 需要更强大的感知和决策能力应对复杂环境[80] 复杂地形导航 - 专注于穿越不平坦地形,通常使用四足机器人[78] - 输入包括关节传感器数据和地形深度图[75] - 输出为速度命令或直接关节控制命令[80] 平台与评估体系 仿真平台 - AI2-THOR专注于社交/语言任务和操作[83] - Habitat系列支持建筑尺度导航和语言指令[83] - ThreeDWorld扩展户外场景并提供力反馈[83] 真实硬件平台 - 标准轮式平台包括TurtleBot系列和Clearpath Robotics产品[82] - 复杂地形平台包括Boston Dynamics Spot和ANYbotics ANYmal[82] 评估指标 - 社交维度采用Success Rate和SPL等指标[84] - 感知维度包括Absolute Trajectory Error和Map Accuracy等[85] - 运动维度评估Energy Consumption和Path Deviation等[86] 发展趋势 - 从固定模型转向自适应进化智能[88] - 从专门组件转向集成系统优化[88] - 从工程解决方案转向语言引导行为[88] - 平台向高保真"数字孪生"和可微分环境发展[87] - 评估指标从单一任务扩展到多维度平衡计分卡[87]