华为OceanStor Dorado

搜索文档
万亿AI存储鸿沟如何填平?
36氪· 2025-08-26 08:08
AI存储行业发展趋势 - AI存储正迎来爆发式增长窗口期,新一代分布式存储能够实现百微秒级延迟与TB级吞吐,支撑训练、推理与Multi-Agent协同等核心场景,逐步成为AI时代存储层的主流选择 [1] - 全球数据量以36%的年增长率持续扩张,预计到2030年将达到YB级规模,高效、安全地存储海量数据成为算力发挥效力的前提 [2] - 大模型发展重心从训练主导转向推理优化和Agent生态,对存储需求产生五大核心变化 [3][4] 存储需求演变 - 吞吐需求从传统互联网应用的MB/s级提升至训练阶段数十GB/s、推理阶段百GB/s级,Multi-Agent协作需要500GB/s~1TB/s级聚合带宽 [5] - 延迟要求从传统应用的10ms级提升至训练中亚毫秒级、推理<1ms级,Multi-Agent协作需保持<1ms存储响应 [5] - 并发复杂性达到极致,需要支持GB/s级强一致同步、高QPS+低延迟推理,以及TB/s级实时协作 [5] - 多模态数据统一管理需求增强,需同时支持对象存储、文件系统、块存储和KV数据库,并支持数据快照和版本链 [6] - 支持Agent记忆持久化,解决碎片化记忆存储带来的高延迟和复杂度问题 [8][9] 技术突破与创新 - 以存代算成为全球共识,通过存储KV Cache等中间结果替代重复计算,将显存压力从平方级降至线性级,大幅提升推理效率 [7] - 硬件进入"超摩尔时代",NVMe SSD容量年增50%+,RDMA网络延迟低至十微秒级,但传统存储软件栈开销仍在百微秒级别,形成明显"剪刀差" [10][11][13][14][16] - Universal Storage架构通过统一存储池、多协议访问、元数据与数据分离等技术,解决传统存储架构的效率瓶颈和扩展性缺陷 [23][26][27][28] 市场动态与投资机会 - 硅谷AI存储公司Vast Data正进行新一轮融资,估值高达300亿美元,较2023年12月的91亿美元估值实现3.3倍增长 [2] - 传统企业级存储市场存在大洗牌的颠覆性机会,推理、Agent、向量化等新兴需求将导致数据量爆发,引发存储层投入大幅增长 [32] - 新一代Universal Storage存储软件技术护城河深,全球范围内缺少开源软件可供借鉴,技术和工程门槛高,客户迁移成本高,营收质量和可持续性好 [33] 理想存储架构特征 - 统一存储池支持文件、对象、块、KV多种协议访问,消除数据孤岛和迁移开销,显著降低TCO [26] - 元数据与数据分离,由专用分布式元数据引擎管理,存储在持久内存或高速SSD中,实现毫秒级响应 [27] - 全用户态存储软件和RDMA技术实现零拷贝数据直接送入GPU显存,延迟降至数十微秒级,CPU开销极低 [28] 对标企业画像 - 需要强技术背景和长期自主研发存储系统软件的团队,具备企业关键业务场景的分布式块存储研发经验 [30] - 需从底层系统开始创新设计,结合新一代系统架构和硬件发展,研发统一分布式存储架构,支持传统接口和AI核心场景新型接口 [31] - 生态开放性和硬件中立性至关重要,需无缝对接国产算力芯片、硬件、训练框架、推理框架、Agent、云计算、数据库等 [31]