Workflow
Scale Up网络
icon
搜索文档
从英伟达的视角看算力互连板块成长性——Scale Up网络的“Scaling Law”存在吗? | 投研报告
中国能源网· 2025-08-20 07:47
核心观点 - AI算力发展面临"内存墙"问题及计算范式演进推动Scale Up网络升级 显著提升网络连接需求 [1][2][3] - Scale Up网络存在Scaling Law 柜间第二层网络将出现 光连接与AEC需求达芯片1:9配比 交换机需求达芯片4:1配比 较Scale Out网络倍增 [2][4] - 英伟达通过提升单卡带宽至7200Gb/s和扩大超节点规模持续扩大Scale Up网络 NVL72机柜方案将作为基础节点进一步扩展 [2] - 更大Scale Up网络可解决TCO 用户体验和模型能力拓展问题 单用户Token消耗增长推动单卡有效性能提升 [3] - 网络构建需柜间第二层Scale Up交换机 光与AEC并存 每颗GPU需9个额外等效1.6T连接 每4颗GPU需额外1台交换机 [4] Scale Up网络驱动因素 - 模型内存墙:单一大模型参数量与单卡显存差距逐代放大 [1][3] - 算力内存墙:单卡算力与单卡显存差距逐代放大 [1][3] - 计算范式演进:张量并行与专家并行对通信频次和容量要求跨越数量级 [3] 英伟达技术路径 - NVLink5.0单卡带宽达7200Gb/s [2] - 超节点规模从H100NVL8扩展到GH200/GB200 NVL72机柜方案可提高训推效率 [2] - NVL72将作为最小节点在柜间拼出更大Scale Up超节点 需光连接通信 [2] 规模扩展必要性 - 单用户每秒Token消耗量提高导致现有服务器单卡性能坍缩 [3] - 用户体验提升和模型能力拓展要求单用户TPS增长 [3] - Scale Up规模与预期单用户TPS 单卡实际性能间存在非线性Scaling Law [3] 网络构建方案 - 柜间搭建第二层Scale Up交换机 [4] - 光与AEC在第二层网络中并存 [4] - 单颗GPU需要9个额外等效1.6T连接 为Scale Out网络的3-4.5倍 [4] - 每4颗GPU需要额外1台交换机 为Scale Out网络的7.5-12倍 [4] 受益环节及标的 - 光互连:中际旭创 新易盛 天孚通信 光库科技 长芯博创仕佳光子 源杰科技 长光华芯 太辰光 [4] - 铜互连:中际旭创 兆龙互连 [4] - 交换机:锐捷网络 盛科通信 Astera Labs 博通 天弘科技 Arista [4]
AI算力跟踪深度(三):从英伟达的视角看算力互连板块成长性:ScaleUp网络的“ScalingLaw”存在吗?
东吴证券· 2025-08-20 05:35
行业投资评级 - 报告未明确给出行业投资评级 [1][2][3][4][5][6][7][8][9][11][13][14][15][16][17][18][19][20][21][22][23][25][27][28][29][30][31][32][33][34][35][36][37][38][39][40][41][43][44][45][46][47][48][51][52][53][54][55][56][57][58][59][60][61][62][63][64][65][67][68][69][70][71][73][74][75][78][79][80][82][85][86][88][90][91][92][93][94][95][96][97][98][99][100][101][103][104][105][106][107][108][109][110][111] 核心观点 - Scale Up网络存在Scaling Law,柜间第二层网络将逐渐出现,光连接与AEC连接需求为芯片的9倍,交换机需求为芯片的4倍,较Scale Out网络倍增 [3] - 英伟达通过提升单卡带宽(NVLink 5.0达7200Gb/s)和扩大超节点规模(从H100 NVL8到GB200 NVL72等)持续扩大Scale Up网络 [3][16][19] - "内存墙"问题(模型内存墙与算力内存墙逐代放大)和AI计算范式演进(张量并行与专家并行)推动Scale Up网络升级 [4][34][35][39][48] - 更大Scale Up网络可提升单卡有效性能、优化TCO,并支持用户体验提升(单用户TPS增长)及模型能力拓展(多模态应用) [6][53][57][60][64][68][73] - 组建更大Scale Up网络需在柜间搭建第二层交换机,光连接与AEC并存,单颗GPU需额外9个等效1.6T连接,每4颗GPU需额外1台交换机 [7][80][85][93] - 算力互连需求存在乘数效应:资本开支结构优化使芯片增速高于Capex增速,单芯片带宽提升使互连需求增速高于芯片需求增速 [9][11][103] 英伟达Scale Up规模扩展 - NVLink带宽持续迭代:NVLink 5.0单卡带宽达7200Gb/s,较NVLink 4.0(3600Gb/s)翻倍 [3][16][19] - 超节点规模从H100 NVL8(8卡)扩展到GH200 NVL256(256卡)、GB200 NVL72(72卡),并计划进一步扩大至NVL576等 [3][19][20][22][23][27][62] - 机柜方案(如NVL72)并非Scale Up上限,后续将作为最小节点在柜间拼接更大超节点,需光连接支持 [3][23][27][58][60] Scale Up网络需求驱动因素 - "内存墙"问题:模型参数与单卡显存差距、单卡算力与显存差距逐代放大,需通过Scale Up显存池化缓解 [4][34][35] - AI计算范式:张量并行(AllReduce通信,单次迭代单卡通信量达百GB级)和专家并行对通信频次及容量要求极高,需高速互联网络支持 [39][46][48][51][97][98] - 单用户TPS增长:主流模型单用户TPS超200 Tokens/s,用户体验提升及多模态应用(如AI图像生成耗数千Tokens)推动更大Scale Up需求 [6][53][65][68][70][73] Scale Up网络组建方式 - 网络架构:柜间搭建第二层Scale Up交换机(如NVL36×2方案),第一层Switch Tray需扩展以支持上行带宽 [7][80][82][85] - 连接方式:光连接(满足所有跨柜距离)与AEC(有效距离3米)并存,无源铜(DAC)仅支持1米距离 [7][86][88][90] - 硬件需求:单颗GPU需9个等效1.6T连接(为Scale Out的3-4.5倍),每4颗GPU需1台交换机(为Scale Out的7.5-12倍) [7][93][94] 投资建议 - Scale Up需求拓展带来光连接、AEC、交换机环节倍增需求 [7][105] - 光互连相关标的:中际旭创、新易盛、天孚通信、光库科技、长芯博创、仕佳光子、源杰科技、长光华芯、太辰光 [7][105] - 铜互连相关标的:中际旭创、兆龙互连 [7][105] - 交换机相关标的:锐捷网络、盛科通信、Astera Labs、博通、天弘科技、Arista [7][105]