问题出发点 - 足式机器人在自主运动控制方面取得显著进展，但现实部署时因"仿真到现实"差异表现不佳[3] - 现有方法难以复现实景中的复杂几何和视觉细节，限制高层次视觉导航任务开展[3] - VR-Robo提出"真实-仿真-真实"统一框架，由清华大学等多家机构联合开发[3] 解决方案 - 结合基础模型几何先验，从图像重建几何一致性场景[4] - 采用GS-网格混合表示与遮挡感知策略构建可交互仿真环境[4] - 利用深度图/点云进行几何对齐，NeRF生成高保真场景图像[4] - 强化学习策略零样本迁移至真实机器人，实现第一视角导航[5] 技术实现细节 - 使用Isaac Sim环境进行物理交互，输入包括ViT编码的RGB特征、本体感知和颜色指令[7] - 采用非对称Actor-Critic结构和LSTM网络输出底层控制策略[7] - 训练时随机采样机器人/物体网格位置，同步融合高斯表示进行联合渲染[9] 实验性能 - 成功率(SR)和平均到达时间(ART)为核心指标[14] - VR-Robo在Easy/Medium/Hard场景SR达100%/93.33%/100%，ART为4.96s/6.28s/9.09s[15] - 对比方法中模仿学习SR为0%，SARO在Hard场景SR为0%，CNN编码器SR为6.67%-73.33%[15] - 消融实验显示纹理网格SR仅20%，去除域随机化后SR降至53.33%[15] 应用局限 - 当前仅支持静态室内环境，未覆盖动态/户外场景[16] - RGB重建的Mesh存在结构缺陷，需引入生成资产方法改进[16] - 单任务训练耗时约3天，需优化训练效率[16]