推理服务器

搜索文档
神州数码(000034.SZ)上半年陆续推出了大规模训练一体机、推理服务器以及企业私有化部署方案“智汇魔方”,进一步完善了产品矩阵
格隆汇· 2025-09-03 12:06
公司业务发展 - 公司自有品牌神州鲲泰在算力基础设施领域持续发力[1] - 上半年陆续推出大规模训练一体机 推理服务器及企业私有化部署方案"智汇魔方"[1] - 联合京东推出消费级AIPC新品牌"灵觅"[1] - 在合肥落地安徽首条麒麟技术路线PC生产线[1] 产品布局完善 - 神州鲲泰产品矩阵进一步完善[1] - 补齐国产PC领域重要一环[1]
神州数码上半年陆续推出了大规模训练一体机、推理服务器以及企业私有化部署方案“智汇魔方”,进一步完善了产品矩阵
格隆汇· 2025-09-03 12:01
算力基础设施产品矩阵完善 - 公司自有品牌神州鲲泰上半年陆续推出大规模训练一体机、推理服务器及企业私有化部署方案"智汇魔方" [1] - 产品矩阵通过新增训练一体机与推理服务器得到进一步完善 [1] 消费级AIPC与国产PC产能布局 - 公司联合京东推出消费级AIPC新品牌"灵觅" [1] - 在合肥落地安徽首条麒麟技术路线PC生产线 补齐国产PC领域重要环节 [1]
DeepSeek-V3.1适配下一代国产芯片引爆市场,大模型这次和哪些国产芯一起“自主可控”?
36氪· 2025-09-01 11:37
产品发布与市场反应 - DeepSeek于8月21日正式发布DeepSeek-V3.1模型 主要升级包括混合推理架构、更高思考效率及更强Agent能力 [1] - 新模型采用UE8M0 FP8参数精度 专为下一代国产芯片设计 [1] - 发布次日FP8概念股大幅上涨 寒武纪、和而泰、佳都科技均涨停 [1] FP8技术解析 - FP8为8位浮点数格式 通过拆分符号位、指数位和尾数位平衡数值范围与精度 [4][5][6] - UE8M0 FP8为无符号格式 指数位8位、尾数位0位 以牺牲精度换取极大动态范围 [7][8] - 该格式需依赖算法与硬件设计弥补精度问题 与国产芯片特性高度适配 [8] 低精度计算演进背景 - FP32为早期AI训练标准格式 但显存占用高 AlexNet训练需消耗约1.5TB显存 [11][12] - FP16将存储需求减半 计算速度提升2倍以上 但存在梯度溢出问题 [14] - BF16指数位扩展至8位 动态范围与FP32相当 成为GPT-3等大模型训练首选 [14] - 英伟达2022年Hopper架构首次原生支持FP8 吞吐量翻倍且显存占用减半 [15] 国产芯片协同设计意义 - 主流FP8多采用英伟达E4M3/E5M2格式 国产GPU因电路与指令集差异无法直接兼容 [18][21] - UE8M0格式优先考虑动态范围 可提升国产芯片数值稳定性 避免梯度爆炸 [21] - 软硬件协同设计减少非英伟达架构移植阻力 加速国产AI基础设施投产 [22] - 该合作被视为应对美国AI芯片出口限制、实现技术自给自足的关键举措 [22] 国产生态适配进展 - 中国信通院自2025年2月开展DeepSeek适配测试 30余家企业参与 首批8家通过认证 [23][25] - 适配系统在语言理解与逻辑推理任务精度上与国外系统持平 单机8卡可推理671B模型 [25] - 华为、寒武纪、海光等企业硬件产品均通过适配 涵盖芯片、服务器与云服务关键环节 [25] 行业竞争态势 - 英伟达于2025年6月推出NVFP4格式 4位精度可实现16位训练精度 技术迭代加速 [26][27] - 国产模型与芯片厂商仍需持续追赶技术差距 但已通过协同设计建立初步生态基础 [27]
清微智能亮相2025中国算力大会
证券日报之声· 2025-08-28 12:44
行业活动与趋势 - 2025中国算力大会在山西大同举办 主题为"算网筑基 智引未来" 由工业和信息化部主办 系中国规格最高算力大会 [1] - 大会汇聚国内三大运营商 华为 联想等行业巨头 各方专家学者企业高层齐聚 共同推进算力基础设施建设与产业科技创新能力 [1] 公司技术展示与合作 - 清微智能作为可重构计算芯片领军企业受邀参展 发表以可重构技术为主旨的演讲 [1] - 公司与中贝通信联合展台展示可重构芯片 推理服务器实物及C2C算力网格技术 产品解决方案具备"不依赖先进制程却能实现高性能"特点 [1] - 公司选择非GPU赛道 旨在让国产算力实现从落后到追赶再到超越的可能性 [1] - 可重构芯片已应用于国内多个省市智算中心项目 支撑政务云 工业互联网等多领域高算力需求 [2] - 中贝通信正将可重构计算技术融入算力网络建设 推动"芯片—服务器—算力集群"全链条国产化进程 [2] 项目进展与产业转化 - 清微智能与合作伙伴协同推进 在山西省同步规划两个"可重构智算中心" 加速前沿技术转化为实际产业动能 [2]
8个字引爆国产芯片!UE8M0 FP8到底是个啥?
华尔街见闻· 2025-08-24 12:54
文章核心观点 - DeepSeek V3.1采用UE8M0 FP8精度格式 引发市场对国产芯片产业链关注 国产AI芯片企业股价大幅上涨 行业进入软硬协同生态化发展阶段 [1][3][36][37] UE8M0 FP8技术解析 - UE8M0 FP8为MXFP8格式的缩放因子配置 其中U代表无符号 E8M0表示8bit全部分配给指数位 无尾数和符号位 [10][17][18] - MXFP8由Open Compute Project定义 将张量切块后为每个块单独指定2的整数次幂作为缩放因子 再压缩为FP8格式 动态范围扩展数十倍 [11][13][14] - UE8M0优势包括:处理器复原数据只需移动指数位 无需浮点乘法或舍入逻辑 动态范围覆盖2^(-127)到2^128 错误率大幅降低且减少信息损失 [22][23] 国产芯片产业影响 - 寒武纪22日盘中大涨20% 总市值超5200亿元 跃居科创板头名 半导体ETF半日大涨5.89% [2][5][29] - 摩尔线程MUSA 3.1 GPU 芯原VIP9000 NPU等2025H2新品均支持原生FP8或Block FP8 并与DeepSeek 华为等15家厂商联合验证UE8M0格式 [26] - UE8M0让32个FP8数据仅追加8bit缩放因子 相比传统FP32缩放节省75%流量 缓解国产芯片HBM/LPPDDR带宽不足的瓶颈 [27] 受益厂商分析 - 寒武纪MLU370-S4 思元590及690系列芯片均支持FP8计算 架构设计和低精度优化领先 被市场视为头号种子选手 [29][30] - 海光深算三号DCU 沐曦曦云C600 中昊芯英"刹那"TPU 摩尔线程MTT S5000均支持FP8精度计算 [31][34] - 华为昇腾910B/C暂不支持原生FP8 但官方路线图规划2025Q4支持 预计2026年新品可能成为下一代芯片 [32] 行业生态意义 - UE8M0 FP8提升国产芯片性价比 同等硬件可运行更大模型 减少对英伟达 AMD等国外算力依赖 [36] - DeepSeek通过精度格式改动主动贴合国产芯片性能点 形成类似"Wintel联盟"的软硬协同生态护城河 [37]
DeepSeek一句话让国产芯片集体暴涨!背后的UE8M0 FP8到底是个啥
量子位· 2025-08-22 05:51
文章核心观点 - DeepSeek V3.1发布采用UE8M0 FP8参数精度 引发市场对国产芯片技术升级和生态协同的高度关注 带动相关企业股价显著上涨 [1][3][4] - UE8M0 FP8技术通过块级缩放和动态范围优化 显著降低带宽需求并提升计算效率 成为适配下一代国产芯片的关键创新 [10][11][19][20] - 国产AI芯片厂商如寒武纪、海光、沐曦等已布局FP8支持 软硬协同生态构建有望减少对国外算力依赖 提升行业竞争力 [23][24][33][34] 技术架构分析 - UE8M0 FP8由Open Compute Project定义 采用8位微缩块格式 通过分块缩放因子扩展动态范围数十倍 [8][10][11] - UE8M0格式无符号位和尾数位 全部分配8bit至指数位 处理器复原数据仅需移动指数位 无需浮点乘法或舍入逻辑 [14][19] - 相比传统FP32缩放 UE8M0使32个FP8数据仅追加8bit缩放因子 节省75%流量 显著优化带宽和功耗 [24] 国产芯片厂商动态 - 寒武纪早盘股价大涨近14% 总市值超4940亿元 跃居科创板首位 其MLU370-S4及思元590/690系列均支持FP8计算 [4][29] - 海光深算三号DCU、沐曦曦云C600、中昊芯英"刹那"TPU及摩尔线程MTT S5000均已支持FP8精度计算 [23][32] - 华为昇腾路线图显示2025Q4将支持原生FP8 预计2026年推出的新品可能成为"下一代芯片" [30] 产业生态影响 - 半导体ETF半日大涨5.89% 科创50指数涨3%创近三年半新高 芯片产业链集体走强 [4][31] - DeepSeek与15家厂商联合验证UE8M0格式 包括中国电信、昆仑芯等8家通过大模型适配 构建统一软硬协同生态 [23][27][34] - 技术升级提升国产芯片"性价比" 同等硬件可运行更大模型 实质性减少对英伟达、AMD等国外算力依赖 [33][34]
对话红帽全球副总裁曹衡康:AI成本下降了 芯片的量一定会起来
每日经济新闻· 2025-06-14 09:02
AI推理技术发展现状 - 行业共识认为算力成本终将降低,但降低路径尚未统一,主要选项包括数据中心、一体机和推理服务器[1] - 红帽全球副总裁曹衡康提出2025年是AI推理元年,标志着AI应用将正式上线运行并为企业创造实际价值[1] - 当前推理技术栈存在两个主流方向,红帽选择vLLM框架作为其技术路线,该框架已成为开源领域事实标准[1] 中国在AI推理领域的参与 - 在vLLM社区中,中国贡献者占比达到35%,显示中国在推理技术领域的活跃参与[1] - 红帽高管认为中国可能成为最先实现企业价值的AI推理市场[1] 技术挑战与解决方案 - 当前面临两大技术难点:如何以最小硬件成本实现高性能推理,以及如何实现分布式推理引擎[1] - 红帽2025年推出推理服务器解决方案,主要优势在于降低企业算力成本[2] - 公司明确战略定位为纯软件提供商,不涉足硬件领域[2] 行业需求展望 - 随着AI应用成本降低,预计使用AI的企业数量将从1000家增长至1万-100万家规模[2] - 行业高管预判GPU需求量将随AI普及而显著增长[2] - 当前重点在于降低AI使用门槛以促进更广泛采用[2]