TaoAvatar

搜索文档
在服贸会感受AI盛宴
中国经济网· 2025-09-12 00:20
机器人应用展示 - 机器人成为电信、计算机和信息服务专题展区每个展台的必备展示项目 涵盖陪伴教育、医疗微操、运动竞技等领域[1] - 京东展台机器狗展示"买智能机器人上京东"文字 具备互动营销功能[1] - 人形机器人集中亮相 包括世界人形机器人运动会冠军机型及太极拳演示机型[1] 通信基础设施数字化 - 中国铁塔将通信塔转型为数字塔 集成摄像机、雷达、传感器、气象监测等感知终端[2] - 算法仓拥有460种算法 其中自研算法216种 80种达到行业领先水平 应用于应急、林草、国土、水利等重点行业[2] - 超级基站在断电断光缆情况下仍可提供通信保障 于北京特大暴雨期间发挥关键作用[2] AI技术生活化应用 - AI+智能陪练可实现八段锦等健身动作实时对照修正[3] - 5G智能住宿体验区展示AI+酒店楼宇的便捷智能[3] - 数智文博项目包括国家自然博物馆AR导览数字人、国家博物馆文物活化及大运河博物馆智慧场馆建设[3] 零售科技革新 - 淘宝数字人导购产品TaoAvatar集成3D高斯重建、语音口唇驱动和端侧多模态大模型技术[4] - 淘宝成为Apple Vision Pro下载量最大的电商APP 实现空间体验式购物[4] - 闲鱼AI托管服务每日超40万用户使用 AI生成文本采纳率达85% 累计成交额超14亿元[4] 城市智能化治理 - 地铁刷脸闸门、语音控制智能家电生态圈、5G明厨亮灶等项目展示数字技术赋能城市发展[3] - 中国铁塔建设气象塔站、测雨雷达塔、水库瞭望塔及山区储能塔 构成防汛救灾智慧前哨系统[2]
如何做到在手机上实时跑3D真人数字人?MNN-TaoAvatar开源了!
机器之心· 2025-06-25 00:46
技术概述 - TaoAvatar是阿里巴巴淘宝Meta技术团队研发的3D真人数字人技术,支持手机和XR设备上的实时渲染与AI对话[1] - 该技术基于3D高斯泼溅技术,能通过多视角视频输入快速生成高逼真度数字人形象,精准捕捉面部表情、手势动作及衣物细节[8] - 已在中国三维视觉大会上入选"最佳演示Demo候选",并宣布开源3D数字人应用MNN-TaoAvatar[2][9] 核心技术 - 采用3D高斯泼溅技术实现全身互动式数字人解决方案,显著降低建模成本并提高效率[8][9] - 集成语音识别(ASR)、大语言模型(LLM)、语音合成(TTS)和数字人渲染(NNR)等核心模块[11] - 支持端侧实时对话与渲染,ASR模型RTF优化至0.18,TTS模型RTF优化至0.58,A2BS模型RTF优化至0.34[16][17][18] - 自主研发NNR渲染器实现25万点云模型60FPS流畅渲染[18] 性能优势 - 在骁龙8 Elite芯片手机上实现端侧运行,ASR模型281.65M,LLM模型838.74M,TTS模型1.34GB[16] - MNN-LLM在骁龙8 Gen3芯片上预填充速度达165 tokens/s,解码速度41.16 tokens/s[16] - 相比云端方案,可在手机端完成所有算法处理,无需高端显卡支持[13][14] 架构优化 - 采用StyleUnet+MLP混合建模降低计算成本,动态高斯点云技术提升渲染稳定性[50] - 数据同步优化实现GPU内存直接读取,免去数据拷贝时间[40] - 调度优化引入"Dirty机制",仅处理变化数据,将部分模型运行频率降至20fps[41] - 模型量化技术将Qwen2.5-1.5B模型从5.58GB压缩至1.2GB[31] 应用部署 - 推荐配置为骁龙8 Gen3或同级CPU,8GB内存,5GB存储空间[51] - 单个数字人ID存储空间控制在100-200MB,25万高斯点云为最佳平衡点[46] - 支持Android和iOS平台,已开源在GitHub供开发者体验[2][52]