神经渲染技术在仿真领域的应用 - 神经渲染技术（NERF/3DGS）通过神经网络表达空间，在新视角合成方面表现优越，直击辅助驾驶和具身智能仿真中传感器仿真的痛点，可解决传统计算机图形学渲染图像缺乏真实性的问题，广泛应用于算法闭环测试和训练 [3] - 现有研究围绕NERF和3DGS技术开发面向闭环测试的仿真框架，但完全新开发仿真框架工作量巨大，因此另一种思路是将训练好的NERF/3DGS模型嵌入现有仿真软件框架，以利用现有3D数字资产和算法接口工具链 [3] 技术集成与工具支持 - LumaAI的3DGS插件可将高斯点云ply插入基于Unreal的CARLA游戏引擎，而NVIDIA的Isaac Sim仿真软件也已支持神经渲染技术，允许插入3DGS模型 [4] - NVIDIA开源项目提出三维高斯渲染方法，可输出适用于Isaac Sim的usdz模型，3DGRUT工具支持将其他3DGS方法生成的高斯点云ply转化为usdz模型 [4] - 3DGRUT生成的usdz模型文件包含default.usda、gauss.usda等描述文件和nurec格式模型文件，可直接解压使用 [4] Isaac Sim中的操作流程 - Isaac Sim的神经渲染功能NuRec需5.0.0以上版本（Omniverse Kit 107.3以上），安装后可通过Content栏导航到usdz模型解压文件夹，将gauss.usda拖动或插入Stage，即可显示三维高斯模型 [5] - 导入的3DGRUT模型仅具备视觉特征，需通过2DGS等方法提取场景mesh（ply格式），并调整mesh的scale和位姿以匹配usdz渲染结果 [6][7] - 需将usdz模型与mesh绑定，在gauss的Property中选择Raw USD Properties，找到proxy并添加Target，选择mesh对象，最后勾选omni:nurec:useProxyTransform特性以实现对齐 [7] 物理属性与交互功能 - 需为mesh添加物理属性，右键选择mesh，在Add中选择Physics->Collider，以增加碰撞属性，避免物体穿透问题 [8] - 在mesh的Property中勾选Matte Object，配合DomeLight光照实现光影交互效果，同时可添加OmniPBR材料并将Reflectivity中的Specular降至最低，减少不必要的反光 [8] - 添加Rigid Body with Colliders Preset属性后，可进一步设置质量等物理属性，使模型与仿真环境中的其他物体（如球体、地面）产生碰撞交互 [14] 动态物体与场景构建 - 通过3DGS方法训练场景（如mipnerf360的kitchen），使用在线工具编辑ply文件提取特定物体（如乐高推土机），再经3DGRUT转化为usdz模型，可实现动态物体导入 [11][13] - 将动态物体（如推土机）放入其他神经渲染场景（如garden或room），可实现模型间及模型与原生物体的动态交互，显存占用较低，在3090显卡上fps表现良好 [15][17] 未解决的问题与挑战 - 神经渲染模型间的光影交互关系尚未完全解决，例如推土机未在神经渲染背景中投下阴影 [18] - 仿真环境测试具体算法的效果尚未探究，例如在room环境中让VLA算法执行"捡起地毯上的乐高推土机"指令的可行性 [19] - 需解决如何快速提供rgb图像外的真值信息（如图像分割、对象标注标签），以及如何获取动态物体的物理属性真值（如硬度、摩擦系数、质量） [19] - 需进一步提升计算效率，以支持更大规模神经渲染场景和更多对象的实时仿真 [19]

产品发布与性能参数 - 英伟达正式发售Thor芯片开发者套件 售价3499美元约合2.5万元人民币 该芯片旨在支撑具身智能机器人与物理世界实时交互 [1] - Thor芯片基于Blackwell架构GPU 在FP4精度下提供2070 TFLOPS峰值算力 较上一代Orin芯片275 TOPS提升7.5倍 [1] - 芯片能效提升3.5倍 CPU性能提升3.1倍 内存容量128GB提升2倍 可并行处理多传感器数据并实现低延迟AI处理 [1] 技术应用与生态建设 - 芯片性能提升使机器人能处理大量传感器数据 在边缘侧实时运行AI模型 减少对云端算力依赖 [3] - 该芯片为人形机器人、农业机器人、手术辅助机器人等物理AI应用提供关键实时推理能力 [3] - 波士顿动力、Figure AI及优必选、宇树科技等国内外机器人厂商已率先部署Thor芯片 [3] - 英伟达机器人技术生态已覆盖超200万开发者 涉及制造业、农业、医疗健康等众多行业 [4] 业务表现与战略定位 - 机器人与汽车业务合并收入为5.67亿美元 在英伟达整体营收占比约1.29% 但同比增长72% [5] - 公司通过提供机器人计算芯片硬件及Isaac GR00T、Isaac Sim等软件平台 持续强化在机器人领域的技术生态布局 [3]

世界机器人大会盛况 - 2025年8月8日至12日在北京亦庄举办，主题为「让机器人更智慧，让具身能更智能」[1] - 220家中外机器人企业参展，发布123款新品并展示1569款产品[1] - 搭建超500个应用场景（包括机器人主题园和4S店），实现1.9万台机器人及相关产品成交额超2亿元[1] - 吸引27.1万人次现场参观，直播观看量达5200万[1] 人形机器人量产元年 - 技术突破：厂商推出视觉-语言-动作大模型（如阿尔特GOVLA、银河之眼G-0、思灵iLoabot-M）[1] - 硬件升级：自由度提升、传感器增多、灵巧手实现更精细操作[1] - 应用场景覆盖工业协同作业、物流AGV/AMR、商用拉花/冲咖啡、家庭陪伴、医疗手术辅助等[1] 行业发展趋势 - 订单高速增长：2025上半年增速50-100%，未来数年预计超100%[2] - 新品密集发布：近期平均每日至少1款[2] - 大模型开发是最大瓶颈，当前水平相当于ChatGPT发布前1-3年阶段[2] - 关键里程碑：机器人在陌生环境中理解并执行任务，乐观估计需1-2年，保守预计3-5年[2] 技术研发方向 - 重点开发端到端统一智能模型，降低硬件成本或提升耐用性[2] - 构建分布式低成本大规模计算系统以满足数据处理需求[2] - 谷歌世界模型GPU消耗大但成功概率高，强化学习VLA模型缺乏高质量训练数据[2] 具身智能发展 - 具身智能连接信息世界与物理世界（规模从5万亿美元扩展到100万亿美元）[3] - 需同步发展三类计算机：机器人本体（JetsonThor）、AI工厂（DGX/HGX系统）、仿真系统（Isaac Sim）[3] - 中国优势：人才储备、制造能力、丰富应用场景[3] - 辉达与宇树科技、北京银河通用机器人等中国企业合作[3] 行业事件前瞻 - 8月14-17日举行世界人形机器人嘉年华[4] - 8月21日智元机器人将召开首届合作伙伴大会并发布「神秘新品」[4] - 10月Optimus V3发布可能成为新催化剂[4]

行业趋势与市场潜力 - 计算机和IT产业过去三四十年主要影响"信息空间"，规模约5万亿美元，而全球产业总量超过100万亿美元，更大的价值在于触达物理世界的"原子"领域（如交通、制造、物流、医疗）[1] - 人工智能的出现使机器具备"物理智能"能力，计算机力量将进入100万亿美元的物理世界市场，机器人是实现这一跃迁的桥梁[1] - 中国在人工智能领域具备独特优势，全球近一半人工智能研究人员和开发者在中国，拥有无可匹敌的电子制造能力和大规模制造业基础[2] - 人形机器人市场潜力巨大，预计未来每三年产值乘10，头部企业从1000台增长到10万台，单价几十万元可达1000亿元产值，超过工业机械臂总产值[4] - 未来10年机器人市场可能超越当前所有工业机器人量，再往后10年可能超越汽车手机市场的万亿规模[4] 技术发展与创新 - 推动机器人发展和物理AI落地需要构建三类计算机：嵌入机器人本体的计算机（如Jetson Thor）、AI工厂计算机（如DGX、HGX系统）、仿真计算机[2] - 合成数据是推动具身智能快速落地的关键，真实世界数据仅占训练数据的1%，其余99%为合成数据[3] - 人形机器人设计本质由若干关节电机串联而成，未来通用AI成熟后硬件要求会越来越低，制造人形机器人可能像组装电脑一样简单[3] - 仿真平台（如Isaac Sim）可优化机器人运动与操控能力，Isaac Lab系统实现快速策略迭代[2] - 灵巧手研发是重点，已开发约20自由度的灵巧手，目标让机器人执行日常任务而非展示性动作，未来1-2年实现自然交互[3] 企业合作与产品进展 - 宇树科技和银河通用与英伟达合作，银河通用G1 Premium人形机器人首批搭载NVIDIA Jetson Thor，在工业码垛、拆垛等场景表现优异[2] - 宇树科技新型人形机器人R1部署英伟达全栈机器人技术，通过仿真平台优化能力[2] - 宇树科技去年推出9.9万元人形机器人，今年新版本售价约3.9万元，支持外观定制，预计年底前完成量产[3] - 宇树科技发布A2机器狗，自重37千克，持续负载30千克，空载续航20公里[3] - 银河通用与英伟达合作下一代人形机器人项目，从轮式形态转向纯双足设计，基于OpenWBT_Isaac平台进行数据采集与遥控控制[3] 商业化路径与展望 - 机器人规模化部署需要顶层算力与仿真能力构建技术底座、成本可控且可量产的硬件工程、合成数据驱动的大规模训练体系[4] - AI与机器人技术将像电力与蒸汽机的发明一样，推动人类文明迈向新高度[4] - 通用机器人将成为下一个价值数万亿美元、数万亿元人民币市场的革命性产品，核心要素包括机器人本体和具身智能模型[3]

视觉-语言导航平台VLN-PE的核心创新 - 推出首个支持人形、四足和轮式机器人的物理真实VLN平台VLN-PE，基于GRUTopia构建，可无缝集成MP3D之外的新场景[3][10] - 平台采用基于RL的控制器API，支持Unitree H1人形机器人、Aliengo四足机器人和Jetbot轮式机器人的物理仿真[13] - 引入90个MP3D场景并手动修复地面间隙，新增10个GRScenes合成家庭场景和3D高斯溅射扫描场景以增强环境多样性[14] 跨具身导航的关键发现 - 现有VLN-CE模型迁移到物理环境时成功率下降34%，暴露伪运动训练与物理部署的差距[15] - 模型性能因机器人类型差异显著，人形机器人表现最佳而四足机器人最差（相机高度0.5米时几乎失效）[36][37] - 联合训练三种机器人数据的模型实现最佳性能，验证跨具身训练的"一劳永逸"潜力[37][39] 多模态与光照条件影响 - 仅依赖RGB的NaVid模型在低光照下成功率下降12.47%，而RGB+深度模型的CMA和RDP表现更稳定[38] - 相机光源(CL)条件下模型性能普遍低于圆盘光(DL)，反光问题导致导航误差增加[38] - 深度信息融合使CMA模型在DL300光照条件下保持85%的基础性能，显著优于纯RGB模型[38] 模型性能对比 - 70亿参数的NaVid模型零样本迁移表现最佳，但存在70%任务片段中过度旋转的问题[29][30] - 扩散模型RDP在3DGS-Lab-VLN数据集上达到30.63%成功率，较NaVid的5.81%提升5倍[31] - 基于地图的VLMaps方法在未见验证集取得20%成功率，证明非端到端方案的可行性[27][24] 数据收集与训练策略 - 使用物理控制器收集的训练数据使模型跌倒率降低8.36%，卡住率减少2.01%[33][34] - 在VLN-PE域内数据微调的Seq2Seq模型性能超越Habitat增强训练的模型，显示仿真过拟合风险[29] - 3DGS场景微调的600万参数小型模型超越NaVid，验证多样化训练分布的价值[30]

具身智能与机器人研究前沿 - 具身智能的核心在于物理模拟器与世界模型的整合，物理模拟器提供高保真训练环境，世界模型赋予机器人环境内部表征能力[4] - 智能机器人能力分级模型包含五个渐进级别（IR-L0到IR-L4），涵盖自主性、任务处理能力等关键维度[6][7] - IR-L0为完全非智能程序驱动级别，IR-L1具备有限基于规则的反应能力，IR-L2引入初步环境意识与自主能力[12][13][14] 机器人技术支撑体系 - 机器人运动控制技术包括模型预测控制（MPC）、全身控制（WBC）、强化学习（RL）和模仿学习（IL）等方法[22] - 视觉-语言-动作模型（VLA）通过预训练实现自然语言指令到机器人动作的映射，但存在未见过任务处理挑战[22] - 机器人操作技术从基于夹具操作发展到灵巧手操作，DexGraspVLA实现零样本高成功率抓取[24] 物理模拟器技术 - 主流模拟器包括Webots、Gazebo、MuJoCo、PyBullet、Isaac系列等，各具特点如MuJoCo专为关节系统设计，Isaac系列支持GPU加速[29] - 模拟器物理特性对比涵盖物理引擎、特殊物理效果支持和可微物理能力等维度[30] - 高端模拟器如Isaac Sim在多物理场支持上更全面，传统模拟器在复杂物理交互上存在局限[33] 世界模型技术 - 世界模型从早期基于循环网络的潜态建模发展到结合Transformer和扩散模型的高保真生成式模拟[40] - 代表性架构包括循环状态空间模型（RSSM）、联合嵌入预测架构（JEPA）、Transformer-based模型等[41][42][44] - 扩散生成模型如Sora可预测物体物理交互，被称为"世界模拟器"[46] 行业应用与挑战 - 自动驾驶领域应用世界模型三大技术范式：神经模拟器、动态模型和奖励模型[56][57][58] - 铰接式机器人领域世界模型通过模拟物体动态与环境反馈提升操作泛化能力[60][61] - 核心挑战包括高维感知、因果推理缺失和实时性问题，未来方向聚焦3D结构化建模和多模态融合[64][65][66]

英伟达AI工厂战略 - 英伟达CEO黄仁勋提出AI工厂概念，计划在中国台湾和德国建设配备1万颗Blackwell GPU的超级计算机和工业AI云，并在欧洲建设20余个AI工厂[1] - AI工厂与传统数据中心不同，专为AI创造价值而设计，部署英伟达GPU并搭配Omniverse仿真平台[2] - 英伟达通过Omniverse平台切入工业AI领域，与西门子、Ansys等软件厂商合作，应用于汽车仿真、数字工厂规划等场景[3] - 公司战略是通过Omniverse平台吸引软件和制造厂商，带动硬件销售和算力消耗[3][4] 工业AI应用现状 - 工业领域AI渗透率当前仅7%，预计2028年将提升至25%[8] - 小模型已广泛应用于设备故障运维、工艺优化、AI质检等场景，在工业AI支出中占比预计保持60-70%[9][10] - 大模型应用主要集中在流程助手、知识库应用和经营决策分析等场景[9] - 合成生物领域有公司通过自研小模型实现研发效率指数级提升，每年AI技术投入占研发投入10-20%[10] 工业AI技术路线 - 英伟达路线侧重仿真和数字孪生，提供虚拟平台而非直接AI应用[5] - 其他厂商聚焦大模型和小模型应用，解决工厂现场实际问题[5][6] - 大模型有望用于串接小模型和跨系统整合，多模态结合是发展方向[11] - 工业场景碎片化特点导致技术路线多样化，不存在单一解决方案[5][6] 工业AI算力需求 - 国内企业倾向自建私有云数据中心，主要考虑数据安全因素[13] - DeepSeek一体机受工业企业青睐，今年国内销售额预计达千亿量级[14] - 小模型算力需求多元，从CPU到GPU不等，大型企业训练大模型需要高端显卡[15] - 工业对算力需求大规模增长还需2-3年，当前算力并非主要瓶颈[15] 行业发展趋势 - 制造业企业数字化预算减少，AI预算单独列出趋势明显[8] - 数字孪生平台在工厂建设前预训练可缩短投产时间，但目前国内缺乏对标产品[5] - 工业AI发展面临数据缺乏、场景碎片化和部分企业数字化未完成等挑战[15] - 边缘算力需求将随小参数模型应用增加而提升[15]

英伟达的机器人业务布局 - 公司早期专注于GPU，逐步发展为AI时代软硬件一体化解决方案领导者，近年拓展至机器人领域[2] - 2014年推出机器人大脑模块Jetson TK1，2018年发布自主机器平台Isaac，2023年升级Jetson AGX Orin模块和Isaac ROS/Sim[2] - 2024年联合微软、OpenAI投资Figure，发布人形机器人通用基础模型Project GR00T[3] - 2025年GTC大会发布全球首款开源人形机器人功能模型GR00T N1，采用双系统架构（快速反应+慢速推理），支持跨平台迁移学习[3][4] - 硬件生态以Jetson系列为核心，软件生态包括Isaac平台（加速库/AI模型）和GR00T N1开源模型，合作伙伴涵盖1X Technologies、Agility Robotics等[5][6] - 展示Newton开源物理引擎和机器人Blue，体现AI从数字向物理世界延伸的能力[5] 机器人市场规模 - 公司CEO黄仁勋预测机器人产业价值10万亿美元，2030年全球劳动力缺口达5000万将推动需求[8] - 全球机器人市场规模预计从2025年1005.9亿美元增至2030年1786.3亿美元（CAGR 12.2%），人形机器人规模从2024年3亿美元增至2035年378亿美元[8][11] - 技术驱动：传感器、AI、运动控制等核心技术突破提升机器人自主决策能力[8] - 政策驱动：中国《"机器人+"应用行动实施方案》提出2025年制造业机器人密度较2020年翻番[9] - 市场驱动：劳动力短缺和老龄化加速护理型/陪伴型服务机器人需求[9] 机器人投融动态 - 2024年以来人形机器人领域大额融资频现：逐际动力A轮1亿元/A+轮4亿元，傅利叶E轮合计8亿元[12] - 融资热度反映创业者积极进入赛道推动技术商业化，拓宽应用场景[12]