Workflow
AWS Trainium
icon
搜索文档
英伟达:GPU 与 XPU- 人工智能基础设施峰会及超大规模企业主题演讲
2025-09-15 01:49
涉及的行业或公司 * 人工智能基础设施与加速器行业 包括GPU XPU ASIC TPU等异构计算领域[1] * 英伟达公司 股票代码NVDA O 市值约4149 468亿美元[6] * 超大规模云计算厂商 包括Meta 亚马逊AWS 谷歌[1] 核心观点和论据 **超大规模厂商的AI基础设施战略** * 所有主要超大规模厂商均已大规模部署英伟达GB200 GB300系统 但同时也在与AMD等其他GPU制造商合作 并开发内部定制芯片 以支持AI工作负载多样性并驱动每瓦最低价格性能[1] * 运行GPU集群与CPU集群是不同的挑战 GPU集群是由许多GPU协同处理单个长时间运行作业的超级计算机[3] * 跨AI工作负载 如LLM训练 LLM推理预填充 LLM推理解码 排名和推荐训练 R&R推理 一种计算尺寸无法满足所有需求 模型尺寸快速演变 基础设施需要在规模 计算 内存和网络元素上进行优化[3] **Meta的AI部署与规划** * AI复杂性日益增长 短视频驱动了对AI排名和推荐的需求 导致集群扩展[2] * 生成式AI模型规模急剧扩大 Llama 3使用了24,000个GPU Llama 4使用了约100,000个GPU 未来生成式AI集群预计将驱动巨大的吉瓦级数据中心 例如2026年的Prometheus 1GW+集群和未来几年的Hyperion 5GW集群[2] * Meta已大规模部署GB200和GB300 并与AMD MI300X合作 内部定制ASIC MTIA系列加速器使其能够专注于AI工作负载多样性 并推动强大的路线图以实现其在R&R推理 训练和生成式推理 训练方面的雄心[4] * Meta是开放系统的支持者 如Llama和deepseek模型 Pytorch Ultra Ethernet和Ultra Accelerator Link UAL[4] **AWS的AI基础设施重点** * 延迟 计算性能和规模弹性是AI基础设施中最重要的基础[5] * AWS自称是运行GPU的最佳位置 Amazon EC2 P6 B200实例适用于中大型训练和推理 P6e GB200 ultraservers是AWS最强大的GPU产品[5] * AWS Trainium是专为在降低成本的同时提供高性能而构建的 AWS Trn2 Ultraservers为AWS上的生成式AI提供最佳价格性能[5] * AWS将为Anthropic项目Rainier使用Ec2 ultraclusters 以提供520 FP8 exaflops的算力 AWS拥有定制冷板设计以支持Trainium集群[8] **谷歌的AI计算方法与技术** * 随着在更大数据集上训练更强大模型且能力更多 强大的AI爆炸性成本驱动了更高的计算成本[9] * 定制ASIC或TPU是谷歌设计的超级计算基础设施的基础 专为机器学习和AI而设计 以驱动高性能 成本 功率效率和无缝扩展[9] * 谷歌今年推出了第七代Ironwood TPU 其最大pod为9,216个芯片 pod 并且比2024年的Trillium多6倍的HBM 它被用于谷歌内部工作负载 如Gemini AlphaFold Imagen Veo AlphaGo Zero和AlphaChip 芯片设计代理 帮助其设计未来TPU版本 以及GCP中[10] * 谷歌拥有配备TPU的专用数据中心 垂直供电以提高能效 同步高带宽片间互连 ICI 以提高吞吐量 光路交换 OCS 以实现容错和高效调度 以及液冷以最大化系统效率 专用TPU硬件实现了大规模扩展 大量共享内存 成本和功率效率 可靠性 灵活性和弹性[11] **英伟达的投资观点与风险** * 投资评级为买入 目标股价200美元 基于约30倍C26E市盈率 该倍数与3-5年平均水平一致 预期股价回报率为17 1%[6][13] * 下行风险包括 1 游戏领域的竞争可能导致英伟达市场份额流失 进而打压股价 2 新平台采用速度慢于预期可能导致数据中心和游戏销售额下降 3 汽车和数据中心市场的波动性可能增加股票 倍数的波动 4 加密挖矿对游戏销售的影响[14] 其他重要内容 * 花旗环球市场公司持有英伟达100万美元或以上的债务头寸 并在过去12个月内因向英伟达提供投资银行服务而获得报酬 目前或过去12个月内与英伟达存在投资银行业务 证券相关和非证券相关业务关系[18][19][20] * 研究分析师的薪酬由花旗研究管理层和花旗集团高级管理层确定 基于旨在惠及花旗环球市场公司及其关联公司投资者客户的活动和服务 薪酬不与具体交易或建议挂钩[21]
从台湾供应链视角看全球半导体展望-SEMICON Taiwan 2025 Asia Pacific Investor Presentation Global semi outlook from Taiwan supply chain perspective
2025-09-09 02:40
全球半导体行业与AI服务器供应链关键要点 涉及的行业与公司 * 行业聚焦于全球半导体行业 特别是AI服务器供应链 包括云端AI资本支出 CoWoS先进封装 HBM内存以及定制化AI芯片(ASIC) [1][10][57][97][134] * 核心公司包括NVIDIA(主导AI GPU市场) TSMC(关键CoWoS产能提供者) 以及云服务提供商(CSP)如AWS Google Meta Microsoft 还有中国AI芯片厂商如华为[42][97][110][143][171] * 供应链涉及多家台湾ODM厂商如富士康(Foxconn) 纬创(Wistron) 广达(Quanta) 纬颖(Wiwynn) 英业达(Inventec)[58][66] 核心观点与论据 云端AI资本支出与半导体市场增长 * 摩根士丹利云端资本支出追踪器预估2026年十大上市全球云服务提供商(CSP)资本支出将达到5820亿美元 不含主权AI支出[13] * NVIDIA首席执行官预估2028年全球云端资本支出(含主权AI)将达到1万亿美元[15] * 受益于云端AI 全球半导体行业市场规模可能在2030年达到1万亿美元 AI半导体是主要增长动力[25][27] * 云端AI半导体总目标市场(TAM)在2025年可能增长至2350亿美元[25] NVIDIA GPU供应与需求预测 * TSMC预计在2025年生产510万颗芯片 而NVL72机柜出货量应达到3万台[42] * 对2025年GB200/300机柜产量转向更加乐观 预计约3.4万台 2026年至少6万台[49] * 看到来自Oracle对纬颖/广达的机柜需求增加 从8月开始[49] * 相信2025年第三季度机柜产量有望达到1.1-1.2万台 GB300机柜产量将从2025年第三季度末/第四季度初开始[49] 先进封装与制造产能 * CoWoS是主流的先进封装解决方案 随后将是SoIC[100] * TSMC可能将CoWoS产能扩大到2026年的9.3万片/月(93kwpm) 鉴于NVL72服务器机柜的瓶颈[105] * 全球CoWoS需求从2023年的11.7万片增长到2026年的100.4万片[110] * NVIDIA在2025年占据CoWoS产能分配的63%[110] * AI计算晶圆消耗在2025年可能达到150亿美元 NVIDIA占大部分[115] HBM内存需求 * 2025年HBM消耗量可能达到160亿Gb(15,578 mn Gb)[119][122] * NVIDIA在2025年消耗大部分HBM供应[121] 定制化AI芯片(ASIC)发展趋势 * 定制化AI芯片增长将超过通用芯片 定制化AI ASIC在2025年代表约210亿美元[139] * 增长前景 定制化AI半导体2023-30年复合年增长率39%[84][224] * 互联网公司开发云端AI定制芯片 Google TPU进入第六代 AWS AI训练解决方案Trainium AWS AI推理解决方案Inferentia Meta MTIA v1采用RISC-V核心 Tesla推出Dojo芯片 Habana开发Gaudi芯片[143][145] * AWS Trainium3将很快进入TSMC 3nm生产[147] 中国AI半导体需求与供应 * 预测前六大公司资本支出同比增长62% 达到3730亿人民币[162] * 中国AI应用在增长 2030年来自中国AI提升的总消费者使用量达到5560亿人民币[167] * 中国GPU自给率在2024年为34% 预计到2027年达到39%[178] * 预计中国云端AI总目标市场(TAM)在2027年达到480亿美元[180] * 本地GPU收入可能增长到1360亿人民币(2027年) 由中芯国际领先节点产能推动[182] 技术发展与性能比较 * TSMC的3nm以下在逻辑晶体管密度方面领先行业同行 每个节点迁移的每瓦性能(能效)可提高15%-20%[127] * 从感知AI到物理AI的趋势 生成式AI的计算需求呈指数增长[88][92] * 提供了NVIDIA AI GPU与Google TPU性能(INT8 TOPS)比较 以及主要AI GPU和ASIC的规格和成本比较[153][155] 其他重要内容 供应链与设计变更 * AI GPU服务器主板级检查(纬创)与NVIDIA GPU收入相关 是NVIDIA季度收入的良好指标[44] * GB300设计变更 – 回归Bianca设计 对连接器厂商Lotes和FIT负面 对PCB厂商Unimicron正面 对组装厂商纬创轻微负面[51] 投资风险与限制因素 * 增长限制包括 预算 能源 产能 监管[71][233] * 半导体解决方案包括 摩尔定律 CoWoS/SoIC HBM CPO 定制芯片[71][233] * 美国行政命令14032和出口管制参考 美国人士可能被禁止购买本报告提及实体的某些证券[3][4] 市场周期与库存 * 逻辑半导体Foundry利用率在2025年上半年为70-80% 尚未完全恢复[226] * 半导体供应链库存天数在2025年第二季度下降[227] * 排除NVIDIA的AI GPU收入 非AI半导体增长缓慢 2024年仅同比增长10%[231] 性能对比与中国市场 * 华为CloudMatrix 384 A3 SuperPod与NVIDIA NVL72的对比[188] * NVIDIA可供中国市场的芯片规格 包括L40S RTX 6000 Ada H20 RTX Pro 6000[193] * RTX Pro 6000系列产品均具有更好的FP8性能 而H20拥有更大的内存带宽[190][191]
谷歌芯片公司,估值9000亿美金
半导体芯闻· 2025-09-04 10:36
TPU业务估值 - Google母公司Alphabet的TPU业务若独立拆分 整体价值可能高达9,000亿美元 较今年稍早估计的7,170亿美元大幅提升[2] TPU技术进展 - 第六代Trillium TPU自2024年12月大规模推出后需求相当强劲[2] - 第七代Ironwood TPU专为推论设计 在Google Cloud Next 25大会发表 预期获得客户大量采用[2] - Ironwood TPU每颗芯片高峰运算能力达4,614 TFLOPS 用于驱动思考型和推论型模型[3] - Ironwood TPU每颗芯片提供192GB HBM容量 是Trillium TPU的6倍 可处理更大型模型和资料集运算[3] - Ironwood TPU每颗芯片频宽达7.2Tbps 是Trillium TPU的4.5倍[3] - Ironwood TPU效能功耗比是Trillium TPU的2倍 为AI工作负载提供每瓦更多运算能力[3] 合作伙伴与客户采用 - Alphabet目前仅与博通合作生产TPU[3] - 与联发科探索合作机会 由联发科为即将推出的Ironwood TPU代工[3] - Anthropic开始招聘TPU核心工程师 可能平衡对AWS Trainium芯片的依赖[3] - 马斯克旗下xAI因JAX-TPU工具改进对TPU展现兴趣[3] 业务战略定位 - Alphabet在AI硬件领域的价值未被充分估价[4] - TPU业务拆分在现今环境不太可能发生[4] - TPU将继续结合Google DeepMind研究实力融入更多Google产品组合[4]
摩根士丹利:全球科技-AI 供应链ASIC动态 -Trainium 与 TPU
摩根· 2025-06-19 09:46
报告行业投资评级 - 行业评级为In-Line,即分析师预计其行业覆盖范围在未来12 - 18个月的表现将与相关广泛市场基准保持一致 [8] 报告的核心观点 - 英伟达在GPU领域仍是美国半导体行业首选,但AI ASIC供应链存在投资机会,重申对下游系统和上游半导体部分公司的买入评级 [1][7] - 全球半导体行业市场规模2030年或达1万亿美元,AI半导体是主要增长驱动力,预计AI半导体市场规模届时达4800亿美元,云AI ASIC市场或增长至500亿美元 [21] - 大型云服务提供商有能力持续投资AI数据中心,预计2025年美国前四大超大规模企业运营现金流达5500亿美元,折旧占总费用比例上升,平均AI资本支出/息税折旧摊销前利润约为50% [58][59] 根据相关目录分别进行总结 识别AI ASIC供应链潜在机会 - 上游半导体中,台积电、爱德万测试、京元电子和日月光是关键代表;AWS Trainium 2由力成科技子公司测试,Trainium 3测试预计转至京元电子,测试解决方案由爱德万测试和泰瑞达竞争 [10] - 全球ASIC关键买入评级公司包括下游系统硬件的亚旭电子、纬颖科技、 Bizlink和金器工业,以及上游半导体的台积电、博通、阿尔卑斯、联发科、爱德万测试、京元电子、超微半导体和日月光 [11] 英伟达GPU竞争下的AI ASIC设计活动 - AWS Trainium方面,阿尔卑斯2月完成Trainium 3设计流片,5月晶圆产出,有较高机会赢得2nm Trainium 4;阿斯泰拉实验室和阿尔卑斯在连接芯片设计上合作,有助于其竞争下一代XPU ASIC项目 [3][7] - Google TPU方面,铁杉(TPU v7p)2025年上半年量产,博通可能流片另一款3nm TPU(可能是v7e),部分芯片产出在2025年底;联发科可能在8月中旬流片3nm TPU(可能是v8p),2026年下半年量产 [4][7] - Meta MTIA方面,7月或有MTIAv3初步销量预测,台湾供应链考虑为MTIAv4采用更大封装用于多个计算芯片 [5] 全球AI ASIC市场规模分析 - 全球半导体行业市场规模2030年或达1万亿美元,AI半导体是主要增长驱动力,预计AI半导体市场规模达4800亿美元,其中云AI半导体3400亿美元,边缘AI半导体1200亿美元,云AI ASIC市场或增长至500亿美元 [21] - 2025年AI服务器总可寻址市场约1990亿美元,英伟达CEO预计2028年全球云资本支出达1万亿美元,这是云AI半导体的关键潜在市场 [26] AI芯片供应指标:台积电CoWoS分配假设 - 供应链服务器机架产出逐渐改善,预计台积电2025年Blackwell芯片产出(按CoWoS - L产能计算)与AI资本支出衡量的“需求”更匹配,但在产品周期前几个季度芯片产出会超过NVL72服务器机架组装,产生芯片库存 [34] - 维持2025年台积电39万片CoWoS - L的预测,预计2026年云AI半导体同比增长31%,假设下游原始设备制造商在2026年上半年消化芯片产出,年底CoWoS估计为9万片/月 [35] 全球AI资本支出更新 - 现金流分析支持大型云服务提供商资本支出持续上升的预期,摩根士丹利预测2025年美国前四大超大规模企业运营现金流达5500亿美元,有能力持续投资AI数据中心 [58] - 预计折旧占数据中心客户总费用的比例将继续上升,2025年达到10 - 14%,2025年平均AI资本支出/息税折旧摊销前利润约为50% [59] AI GPU和ASIC租赁价格跟踪 - 英伟达4090和5090显卡零售价略有下降,但中国AI推理需求仍然强劲 [73] AI半导体 - 市盈率倍数、收入敞口、销售跟踪 - AI半导体市盈率倍数趋势显示,GP GPU(英伟达)、替代AI半导体和AI半导体推动者的市盈率倍数有所变化 [82] - AI芯片季度收入持续增加,英伟达和AMD的数据中心/高性能计算半导体收入呈上升趋势 [83][84] 关键特色报告 - 涵盖多篇关于AI供应链的报告,涉及服务器机架、订单情况、需求与供应、CoWoS预测等方面 [94][95] 关键上游AI供应链公司 - 台积电2026年晶圆价格上涨和强劲AI需求可能抵消外汇影响,评级为买入 [96] - 联发科TPU需求和进度应好于担忧,评级为买入,目标价维持在新台币1888元 [96][97] 联发科分析 - 预计联发科凭借天玑9400旗舰片上系统在高端智能手机市场获得份额,2025 - 2027年前景好于担忧,库存天数下降,表明水平健康 [110] - 考虑到联发科有很高可能性赢得2nm TPU项目,将其剩余收益模型中的中期增长率从8%提高到8.5%,目标价维持在新台币1888元 [97] - 因新台币近期大幅升值,下调2025和2026年营收预测6 - 7%,2027年营收预测下调3%,每股收益下调幅度大于营收 [100][101]