Workflow
异构算力虚拟化
icon
搜索文档
华为发布开源AI容器技术Flex:ai:让闲置算力“动起来”,把一张卡切给多任务使用丨最前线
36氪· 2025-11-25 13:54
文章核心观点 - 华为公司发布并开源AI容器技术Flex:ai,旨在通过三项技术创新解决“算力不够用”和“算力被浪费”并存的问题,提升算力资源利用率 [1] - 该技术通过对GPU、NPU等智能算力资源的精细化管理与智能调度,将零散算力统一成资源池,并智能分配不同规模的AI任务 [1] - 此次开源是华为与上海交通大学、西安交通大学、厦门大学产学合作的成果,旨在推动异构算力虚拟化与AI应用平台对接的标准构建 [1][2] 技术核心能力 - **XPU池化框架**:与上海交通大学联合研发,将单张GPU或NPU算力卡按10%的精度切分为多个虚拟算力单元,实现“用多少,切多少”,使小模型训练推理场景下的整体算力平均利用率提升30% [2] - **跨节点拉远虚拟化技术**:与厦门大学研发,可聚合集群内各节点的空闲XPU算力形成“共享算力池”,让不具备智能计算能力的通用服务器也能通过网络调用远端GPU/NPU资源参与AI计算 [2] - **Hi Scheduler智能调度器**:与西安交通大学共同推出,能感知集群里多品牌、多规格算力资源的状态,根据任务优先级、算力需求等参数自动选择资源,实现分时复用和全局最优调度 [2] 行业影响与目标 - 技术基于Kubernetes构建,通过对GPU、NPU等资源的精细化管理与智能调度,统一零散算力并智能分配AI任务 [1] - 全面开源将向产学研各界开发者开放所有核心技术能力,共同推动异构算力虚拟化与AI应用平台对接的标准构建,形成算力高效利用的标准化解决方案 [2]
华为开源突破性技术Flex:ai,AI算力效率直升30%,GPU、NPU一起用
机器之心· 2025-11-22 04:12
文章核心观点 - 华为发布并开源AI容器技术Flex:ai,旨在解决AI算力资源利用率低的行业痛点 [1] - 该技术通过XPU池化、跨节点资源聚合与智能调度三大核心技术,实现算力资源的动态切分与精准匹配,提升整体利用率 [3][8] - Flex:ai的开源被视为对英伟达收购的Run:ai等解决方案的回应,其异构兼容性和开放架构有望推动国产算力生态标准化 [19][20] 技术发布与开源 - Flex:ai XPU池化与调度软件基于Kubernetes构建,可对GPU、NPU等智能算力资源进行精细化管理与智能调度 [3] - 华为将Flex:ai全面开源至魔擎社区,与Nexent智能体框架、DataMate数据工程等共同构成ModelEngine开源生态 [5] 核心技术突破 XPU池化框架 - 华为与上海交通大学联合研发,可将单张GPU或NPU算力卡切分为多份虚拟算力单元,切分粒度精准至10% [9] - 实现单卡同时承载多个AI工作负载,整体算力平均利用率提升30%,虚拟化性能损耗控制在5%以内 [9] 跨节点算力资源聚合 - 华为与厦门大学联合研发跨节点拉远虚拟化技术,将集群内各节点空闲XPU算力聚合形成共享算力池 [12] - 厦门大学设计的上下文分离技术使集群外部碎片减少74%,提升了67%高优作业吞吐量 [13] 多级智能调度 - 华为与西安交通大学共同打造Hi Scheduler智能调度器,可自动感知集群负载与资源状态,进行全局最优调度 [17] - 该调度器结合AI工作负载的优先级、算力需求等多维参数,实现AI工作负载分时复用资源 [17] 行业背景与意义 - 英伟达于去年7月以7亿美元收购AI初创公司Run:ai,其平台能将GPU资源利用率从不足25%提升至80%以上 [19] - Flex:ai的异构兼容性更优于Run:ai,其开放架构将推动国产算力生态标准化 [19] - 该技术试图重新定义AI时代算力的使用方式,从万卡集群到一卡多用,推动国产算力大规模应用 [20]