Dynamo推理框架

搜索文档
英伟达力推液冷技术,液冷市场“奇点”临近
环球网· 2025-04-07 05:19
文章核心观点 英伟达在年度GTC大会上展示的新品凸显液冷技术亮点,推动液冷市场“奇点”加速到来,全球AI巨头纷纷布局,国内政策也在推动,2025年将是液冷产业爆发关键时点,液冷产业链迎来发展机遇 [1][2][4] 英伟达新品液冷技术亮点 - 新一代Blackwell Ultra芯片采用“液冷 + 硅光子”协同进化,基于5nm工艺,单颗芯片集成288GB HBM3e显存,FP4算力达15PetaFLOPS [1] - DGX GB300系统采用Grace Blackwell Ultra超级芯片及机架级液冷设计,较上一代Hopper架构可提供70倍的AI性能 [1] - 开源推理框架Dynamo借助液冷方案,将海量计算节点浓缩进单一机架,单机架集成60万组件,整套液冷系统功率达120kW,单机架可实现百亿亿次计算 [1] - 预计2027年下半年推出的Vera Rubin Ultra每个机架功率将高达600kW,液冷分析师预计其将全面转向浸没式液冷散热 [1] 英伟达采用液冷技术原因及决心 - 早在2022年推出液冷版A100,去年在B100、H200芯片上从风冷升级为液冷,H200高负载热量增加约30%,液冷散热效率较风冷提升约50% [2] - 此次系列新品采用液冷散热,彰显在液冷技术上的坚定决心 [2] 液冷技术对AI产业的重要性 - 华尔街分析师指出液冷技术对克服AI云端运算挑战关键,能为超大规模云端服务铺路 [3] - 网宿科技旗下绿色云图运营总监表示液冷技术是AI算力标配,高功耗输出对液冷技术提出更高要求 [3] 全球AI巨头液冷技术布局 - 谷歌部署液冷系统的数据中心已达1GW且规模在增长 [3] - 微软与Wiwynn合作开发两相浸没式液冷方案,已在华盛顿州数据中心运行 [3] - 英特尔与绿色云图合作开发新一代G - Flow浸没式液冷方案,实现kW级散热 [3] 国内政策推动液冷发展 - 三大运营商提出2025年开展液冷规模应用,50%以上项目应用液冷技术 [4] - 上海市力争到2025年新建智算中心PUE值达1.25以下,绿色能源使用占比超20%,液冷机柜数量占比超50% [4] 液冷产业发展趋势 - 2025年将是液冷产业爆发关键时点,预计GB200机柜方案放量出货带动AI芯片液冷散热渗透率从2024年的11%提升至2025年的24% [4] 液冷产业链发展机遇 - 中信证券认为具有全链条能力的液冷系统解决方案厂商更具潜力 [5] - 液冷系统厂商打通各环节,技术储备完备,经验丰富,能协同上下游推动液冷技术研发与应用 [5] 绿色云图案例 - 绿色云图构建起全栈能力,液冷产品在多领域规模应用,技术成熟度等得到市场验证,有领先技术和能力壁垒 [7] - 积极与多方合作,产业生态资源雄厚,已交付多个液冷智算中心项目,为国内AI厂商提供服务 [7] 液冷产业发展挑战 - 液冷产业爆发需上下游协同,各环节需把控安全、推动技术融合,亟待建立统一标准 [7]
英伟达Blackwell Ultra采用液冷散热 液冷市场“奇点”临近
证券日报网· 2025-04-03 06:49
文章核心观点 英伟达年度GTC大会将液冷技术推到全球AI产业风口浪尖,标志着液冷时代全面来临,预计今年内液冷渗透大幅提速,液冷成为AI算力标配,市场迎来发展机遇 [1]。 英伟达新品亮点 - 新一代Blackwell Ultra通过“液冷 + 硅光子”协同进化,基于5nm工艺,单颗芯片集成288GB HBM3e显存,FP4算力达15PetaFLOPS [1]。 - DGX GB300系统采用Grace Blackwell Ultra超级芯片和机架级液冷设计,较上一代Hopper架构可提供70倍的AI性能 [1]。 - 推出开源推理框架Dynamo,通过革命性液冷方案,将海量计算节点浓缩进单一机架,整套液冷系统功率达120kW,单机架可实现百亿亿次计算 [1]。 - 2027年下半年预计推出Vera Rubin Ultra,每个机架功率将高达600kW,分析师预计其将全面转向浸没式液冷散热 [1]。 液冷成为AI算力标配 - 2022年英伟达推出液冷版A100,去年在B100、H200芯片上正式从风冷散热升级为液冷散热 [2]。 - H200在高负载任务下产生的热量较前代产品增加约30%,液冷散热效率较传统风冷提升约50% [2]。 - 英伟达对系列新品采用液冷散热体现其在液冷技术上的决心,液冷技术对克服AI云端运算挑战关键,是AI算力的标配 [3]。 - AI算力市场需求扩大,芯片性能和功耗提升,对液冷技术提出更高要求,保障AI芯片性能与运行稳定要求液冷系统更安全可靠 [3]。 液冷市场迎来“奇点” - 微软、谷歌、Meta、英特尔等AI巨头加快渗透液冷技术,如微软开发两相浸没式液冷方案,英特尔与绿色云图合作开发新一代G - Flow浸没式液冷方案 [4]。 - 国内政策与产业加速推动液冷发展,三大运营商提出2025年50%以上项目应用液冷技术,上海力争到2025年新建智算中心PUE值达1.25以下,液冷机柜数量占比超50% [4]。 - 液冷产业链迎来发展机遇,具有全链条能力的液冷系统解决方案厂商更具潜力 [4]。 - 液冷系统厂商打通各环节,技术储备完备,经验丰富,能协同上下游推动液冷技术研发与应用,将率先收获机遇 [4]。 绿色云图情况 - 绿色云图构建起从研发、测试、生产到交付的全栈能力,液冷产品在诸多领域规模应用,技术成熟度等得到市场验证,拥有领先技术和能力壁垒 [5]。 - 绿色云图近年来积极与多方合作,产业生态资源雄厚 [5]。 - 绿色云图已交付多个液冷智算中心项目,为国内AI厂商提供智算服务,产业需上下游协同,各环节把控安全、推动技术融合,建立统一标准 [6]。
不止芯片!英伟达,重磅发布!现场人山人海,黄仁勋最新发声
21世纪经济报道· 2025-03-19 03:45
文章核心观点 英伟达GTC2025大会围绕AI推理时代展开,发布了涵盖计算架构、企业AI应用、数据中心、机器人和自动驾驶等领域的技术,构建完整AI生态体系,有望推动企业和个人生产力变革,虽发布会后股价下跌,但大会或提振AI市场部分正面情绪 [28][30] 分组1:大会概况 - 当地时间3月18日,英伟达创始人兼CEO黄仁勋在英伟达GTC2025大会发表演讲,称其为“AI界的超级碗”,今年关键词是“推理”和“token”,AI叙事重心从训练转向推理 [1] - Forrester副总裁兼首席分析师戴鲲认为大会有三个方向值得关注,分别是面向后训练和推理的加速计算、面向企业级智能代理开发的Agentic AI、AI在物理世界中的应用 [3] 分组2:芯片家族 - 英伟达发布Blackwell Ultra系列芯片及下一代GPU架构Rubin,Vera Rubin NLV144计划于2026年下半年上线,Rubin Ultra NVL576将于2027年下半年面世 [5] - Grace Blackwell已全面投入生产,新平台强化推理能力,Blackwell Ultra在训练和测试时间缩放推理方面实现突破,被称为“AI工厂平台” [6] - Blackwell Ultra(GB300)包含GB300 NVL72机架级解决方案和HGX B300 NVL16系统,GB300 NVL72 AI性能提升1.5倍,使AI工厂收益机会相比Hopper平台提高50倍;HGX B300 NVL16推理速度提高11倍、计算能力提升7倍、内存容量扩大4倍 [8][9] - 瑞银报告指出,Blackwell系列需求强劲,GB200瓶颈解决,英伟达加快B300/GB300推出,预计第一季度提前量产,2025年第三季度大规模出货 [10] - 基于Blackwell Ultra的产品预计2025年下半年由合作伙伴推出,思科、戴尔等将率先推出相关服务器,预计到2028年数据中心投资超一万亿美元,暗示英伟达有增长空间 [11] 分组3:CPO交换机 - 英伟达推出全新NVIDIA Photonics硅光子技术,通过共封装光学取代传统可插拔光学收发器,可降低40MW功耗,提高AI计算集群网络传输效率 [13] - 推出Spectrum-X与Quantum-X硅光子网络交换机,Spectrum-X以太网平台带宽密度达传统以太网1.6倍,Quantum-X光子Infiniband平台AI计算架构速度较前代提升2倍,可扩展性增强5倍 [14] - 英伟达光子交换机集成光通信创新技术,较传统方式减少75%激光器使用,能效提升3.5倍等;摩根大通报告指出CPO应用于GPU最早可能2027年实现,且面临多项技术挑战,对基板供应商是利好 [15] 分组4:软件升级 - 英伟达关注机器人、自动驾驶等领域,生成式AI改变计算方式,计算机成为token生成器,数据中心演变成AI工厂 [17] - 英伟达新推出AI推理服务软件Dynamo,支持下Blackwell推理性能可达上一代Hopper的40倍,能最大化AI工厂token收益,采用分离式推理架构实现高效AI推理计算 [18][19] - 英伟达推出Llama Nemotron系列推理模型和AI - Q,支持企业和开发者构建AI Agent,提升推理能力,减少开发成本和部署难度 [20] - 英伟达核心护城河CUDA是强大软硬件体系,已拥有各领域AI工具 [21] 分组5:端侧AI和机器人 - 英伟达推出基于NVIDIA Grace Blackwell平台的全新DGX个人AI超级计算机系列,包括DGX Spark和DGX Station,将原本仅限数据中心使用的架构性能引入桌面环境 [23][24] - 英伟达正式发布全球首款开源、可定制的通用人形机器人基础模型Isaac Groot(GROOT N1),采用双系统架构,可适配多种任务,已被多家机器人制造商采用 [25] - 英伟达推出一系列模拟框架和方案,在机器人基础模型和体系化解决方案上再次升级,摩根大通预计其在Physical AI方面会有更多突破 [26] 分组6:市场情绪 - 过去一季度AI领域变化大,英伟达GTC2025大会发布众多技术,但发布会结束后股价下跌3.43% [28] - 摩根大通报告指出整体AI市场情绪偏空,GTC大会有望提振部分正面情绪,改善Blackwell系统供应状况,预计2026年AI数据中心资本支出继续健康增长 [29]