Workflow
3D Gaussian Splatting(3DGS)
icon
搜索文档
摩尔线程算法一鸣惊人,图形学顶会夺银!已开源
量子位· 2025-12-17 09:07
文章核心观点 - 摩尔线程在SIGGRAPH Asia 2025的3DGS重建挑战赛中凭借自研的LiteGS技术获得银奖,证明了其在新一代图形渲染技术上的深厚积累和软硬件协同优化能力,并获得了学术界的高度认可 [1][2][13] - 3D Gaussian Splatting是一项革命性的3D场景表示与渲染技术,相比传统NeRF,它在保持逼真画质的同时,将渲染效率提升了数百至上千倍,并被视为下一代图形渲染的范式革命,对具身智能等前沿AI领域具有关键基础价值 [4][6][8] - 摩尔线程通过开源其3DGS基础库LiteGS,展示了从底层GPU系统到高层算法的全栈协同优化能力,在训练效率和重建质量上树立了新的性能标杆,并致力于推动三维重建与渲染技术的开放协作 [17][20][23] 3DGS技术的重要性与前景 - 3DGS是一项于2023年提出的革命性技术,以可参数化的3D高斯分布为核心,在画质、效率与资源占用间实现了卓越平衡 [4] - 相比传统神经辐射场技术,3DGS在保持逼真渲染质量的前提下,将渲染效率提升数百至上千倍,并在光线追踪、VR/AR实时渲染、多模态融合等方向展现出极强的适应性与扩展性 [4] - 该技术为需要高质量、低延迟三维环境建模的具身智能等前沿领域提供了可靠支撑,有助于提升智能体的路径规划、环境感知和复杂操作任务能力,正成为具身智能训练场景中的关键基础技术之一 [6][7][8] - 3DGS已成为全球学术界与产业界竞相投入的研究方向,受到了SIGGRAPH Asia等权威机构的高度关注 [8] 挑战赛详情与公司表现 - 本次竞赛任务极具挑战性,要求参赛团队在60秒内,基于一段10-30秒的真实终端视频序列、存在误差的相机轨迹及终端SLAM点云,完成高质量的3DGS重建 [9] - 主办方以峰值信噪比和重建速度作为综合评价指标 [10] - 摩尔线程AI团队在重建精度与效率两项指标上取得均衡表现,最终获得银奖 [13] - 具体成绩为:平均PSNR 27.58,位列前三;重建耗时34秒,显著领先多数队伍 [15] - 官方排名显示,摩尔线程团队在8支决赛队伍中PSNR排名第三,耗时与另一支队伍并列第三快 [16] 摩尔线程的LiteGS技术优势 - 摩尔线程自主研发了3DGS基础库LiteGS,旨在解决3DGS训练过程耗时过长(通常需要数十分钟甚至数小时)的瓶颈问题 [17] - LiteGS首次实现了从底层GPU系统、中层数据管理到高层算法设计的全链路协同优化 [18] - 在GPU系统层面,创新提出基于“One Warp Per Tile”原则的“Warp-Based Raster”新范式,结合扫描线算法与混合精度策略,大幅降低梯度计算开销 [18] - 在数据管理层,引入“聚类-剔除-压缩”流水线,借助Morton编码提升数据局部性,减少缓存失效 [18] - 在算法设计层,采用更鲁棒的像素不透明度梯度方差作为致密化核心判据,精准识别欠拟合区域 [18] - 通过系统与算法的协同优化,LiteGS在训练效率与重建质量上均实现显著领先 [20] LiteGS的性能数据 - 在达到与当前质量最优方案同等水平时,LiteGS可获得高达10.8倍的训练加速,且参数量减少一半以上 [20] - 在相同参数量下,LiteGS在PSNR指标上超出主流方案0.2–0.4dB,训练时间缩短3.8至7倍 [20] - 针对轻量化模型,LiteGS仅需原版3DGS约10%的训练时间与20%的参数量,即可实现同等质量 [21] - 该技术已全面开源,以推动三维重建与渲染技术的开放协作与持续演进 [23] 公司的战略与未来动向 - 此次获奖体现了公司准确把握全球技术发展趋势并引领未来图形计算技术方向的战略眼光 [23] - 3DGS技术对算法与硬件协同提出了极高要求,公司通过创新的算法设计、深度优化的自研硬件以及高效的软硬件协同,展现了卓越的综合能力 [24][25] - 这一成就印证了公司在图形智能计算领域技术路径的前瞻性与工程可行性,体现了将前沿研究快速转化为实践成果的强大执行力 [25] - 公司将于2025年12月20日-21日举办的首届MUSA开发者大会上设立技术专题,深入探讨3DGS等图形智能技术如何塑造未来,赋能具身智能等前沿领域 [25]
RoboTidy即将开源:让机器人在家庭场景“游刃有余”
具身智能之心· 2025-11-29 02:07
文章核心观点 - 香港大学与原力无限等联合团队发布了业内首个基于3D Gaussian Splatting技术的家庭整理基准RoboTidy,该基准构建了500个照片级逼真的交互式3D环境并提供了超过8000条专家演示轨迹,其核心突破在于通过高保真仿真环境显著提升了真实机器人长序列任务的成功率,将真实机器人的任务成功率提升了近30% [4][17] - 研究标志着具身智能研究范式的转变,重点从算法能力转向环境真实性,并通过学术界与产业界的深度协同(“研-产”闭环)来加速通用人形机器人的产业化落地 [5][24] 技术突破:3D Gaussian Splatting的应用 - 传统仿真器(如Habitat, AI2-THOR)基于3D网格建模,虽速度快但画质失真,导致训练出的机器人在真实复杂环境中“水土不服” [7] - RoboTidy引入3D Gaussian Splatting技术,能以超过100 FPS的渲染速度重建照片级真实场景,克服了NeRF计算成本高和Mesh几何生硬的问题 [8][9] - 团队通过手持设备扫描500个真实家庭场景(卧室、客厅、餐厅等),并利用3DGS管道将其“克隆”进仿真器,使机器人能感知真实的光照变化、材质质感(如地毯绒毛、不锈钢反光) [11][12] 数据集与算法框架 - RoboTidy提供了500个高多样性家庭布局场景资产和8000多条专家示范轨迹,这些轨迹不仅记录坐标移动,更包含了人类整理房间的隐性逻辑(如语义理解和常识推理) [15] - 基于此数据集,团队提出了分层控制框架,包含“语义规划器”和“底层策略”,使机器人能像人类一样执行“识别物体-规划归属地-执行整理”的长序列规划任务 [14][15] 仿真到现实的工程化验证 - 原力无限团队重点攻克了Sim-to-Real Gap(虚实迁移鸿沟),通过高保真环境预训练结合自研控制算法,在真实机器人测试中显著提升了对未见物体和复杂背景的鲁棒性 [17] - 实验结果显示,RoboTidy模型在真实环境中的任务成功率相比传统方法提升29.4%,证明高质量仿真数据可直接转化为真实世界的生产力 [17][18] 行业标准化与开源贡献 - RoboTidy建立了统一的标准化评测系统和Leaderboard,解决了以往家庭整理任务缺乏可比性基准的问题(如各实验室测试场景不同导致成功率无法横向对比) [20] - 通过开源这套基准(包括统一API接口和多维度Metric),为全球开发者提供了更真实、严苛、标准的研发起跑线,推动家庭服务机器人技术进化 [20][22][27]
3DGS杀入具身!港大×原力无限RoboTidy即将开源:让机器人在家庭场景“游刃有余”
具身智能之心· 2025-11-27 00:04
文章核心观点 - 由香港大学与原力无限等联合团队发布的RoboTidy基准,通过引入3D Gaussian Splatting技术构建了500个照片级逼真的交互式3D家庭环境,并提供了超过8000条专家演示轨迹,显著提升了机器人在长序列家庭整理任务中的表现,并将真实机器人的任务成功率提升了近30%,标志着具身智能研究在仿真环境真实性与产业落地方面取得了重要突破 [3][4][5][17][23] 技术突破:3DGS构建高保真仿真环境 - 传统仿真器基于3D网格建模,画质失真、缺乏真实光影纹理,导致训练出的算法在真实复杂环境中“水土不服” [7] - RoboTidy引入3D Gaussian Splatting技术,能以超过100 FPS的渲染速度重建照片级真实场景 [8] - 团队扫描了500个真实家庭场景并通过3DGS“克隆”进仿真器,使机器人能感知真实的光照变化、材质质感和反光等细节 [10] - 这种“所见即所得”的视觉保真度为训练高鲁棒性的视觉编码器提供了基础 [11] 任务与数据集:定义家庭整理的长序列规划挑战 - 家庭整理对机器人是顶级的长序列规划挑战,需要结合视觉识别、语义理解和常识推理能力 [13] - RoboTidy提供了包含8000多条专家示范轨迹的高质量数据集,记录了从物体识别、抓取到放置的完整链条,蕴含了人类整理房间的隐性逻辑 [14] - 基于此数据集,团队提出了包含“语义规划器”和“底层策略”的分层控制框架,使机器人能模仿人类“看到杂乱-规划归属地-执行整理”的思考过程 [14] - 基准覆盖了500个具有高多样性的家庭布局场景资产 [14] 产业落地:Sim-to-Real的工程化验证 - 原力无限团队重点攻克了“虚实迁移鸿沟”这一行业痛点 [16] - 在真实机器人测试中,经过RoboTidy高保真环境预训练并结合原力无限自研控制算法的策略,展现出极强的鲁棒性,特别是在处理未见过的物体和复杂背景时表现优于基线方法 [16] - 实验数据显示,该方案使真实机器人的长序列任务成功率相比传统方法提升了29.4% [4][16] - 这证明了高质量的仿真数据可以直接转化为真实世界的生产力 [17] 行业影响:建立标准化基准并开源 - RoboTidy建立了业内首个基于3DGS技术的家庭整理基准,填补了该领域缺乏统一评测标准的空白 [4][19] - 通过开源这套高质量的基准、标准化评测系统和Leaderboard,为全球开发者提供了更真实、严苛、标准的研发起跑线 [19][21] - 基准提供了统一的API接口,方便开发者接入自己的算法 [26] - 评测采用多维度Metric,不仅评估物体是否归位,还评估放置的合理性、美观度及执行效率 [26]