京东云JoyScale AI算力平台能力升级 - 实现行业最多元国产异构算力调度 支持10+家国产AI算力卡和20+训练推理框架 是业界唯一同时支持英伟达显卡和昇腾NPU远程调用的算力平台 [1][3] AI算力平台市场需求 - AI深度应用需要AI Native算力平台 需以GPU为中心重塑基础设施并解决国产GPU型号多样带来的异构问题 [2] - 推理需求增长推动计算资源增加 企业需提升智算资源效率 [2] - GPU国际供应链风险加剧 金融政务等领域加速AI算力国产化替代 [2] JoyScale平台核心优势 - 极致算力性能 内核态池化引擎提供多卡聚合 单卡切分 多机多卡集群化调度和推理加速能力 推理性能提升50% [5] - 高效异构算力调度 全面适配10+家国产算力 兼容昇腾 寒武纪 海光等加速卡 资源利用率提升70% [5] - 深度国产AI生态合作 与国产芯片厂商开放Runtime层代码 通过GPU/NPU切分池化技术屏蔽硬件复杂性 [6] - 支持超20种AI训练推理框架 训练框架包括PyTorch TensorFlow DeepSpeed MindSpore等 推理框架包括vllm sglang MindIE triton等 [7][8] 平台技术优化 - 实现应用与算力分离 底层异构算力彻底池化 按需分配算力资源 [9] - 调度算法兼容英伟达NVLink优化 智能识别CPU NUMA和网络拓扑 最大化任务执行效率 [9] - 国产GPU/NPU与英伟达/AMD共享资源队列机制 保障资源量同时共享集群空闲资源 [9] - 通过GE图编译优化和ATB高性能算子技术 深度优化Paged Attention和Flash Attention 实现整图下发和流水线并行 [10] - 软硬协同优化热点算子 实施锯齿Attention 动态输入拼接 全子图下发等措施 实现百卡MFU达60% [10] - 通过权重更新通信隐藏 CoC计算通信并行和RDMA通信技术 达到百卡扩展系数0.93 支持千亿至万亿参数模型训练 [10] 平台应用实践 - 基于京东集团复杂场景实践 构建一站式大模型产品矩阵 从智算基础设施到模型服务和工具 再到Agent应用开发 [10] - 凭借内部深度应用经验 打造极致性能和性价比的技术与产品 助力企业重塑AI生产力 [10]