文章核心观点 - 人工智能工作负载正从训练转向推理和代理AI，这暴露了传统计算架构在内存带宽和容量上的瓶颈，即“内存墙”问题 [2] - d-Matrix公司致力于通过其创新的3D堆叠数字内存计算架构来解决AI推理的内存瓶颈问题，旨在实现比传统HBM内存更高的带宽和能效，同时降低成本 [2][5] 行业背景与趋势 - 2025年人工智能焦点转向推理和代理AI，对处理能力的需求暴露出内存管道的缺口 [2] - 行业基准显示，计算性能每两年增长约3倍，而内存带宽仅增长约1.6倍，导致处理器因等待数据而闲置的差距日益扩大 [8] - 基于GPU的传统高性能计算架构擅长训练大型语言模型，但并非运行AI推理工作负载的理想选择 [6] d-Matrix公司概况 - 公司由首席执行官Sid Sheth和首席技术官Sudeep Bhoja于2019年创立，两位创始人均曾担任高速互连开发商Inphi Corp的高管，该公司于2020年被Marvell以100亿美元收购 [2] - 公司目标是为AI推理开发内存计算芯片级技术，提供比传统DRAM更大的内存带宽，且成本远低于高带宽内存 [2] 核心技术：3DIMC架构 - 3DIMC指三维堆叠数字内存计算，通过垂直堆叠内存并与计算芯片紧密集成，旨在显著降低延迟、提升带宽并实现新的效率提升 [2][8] - 该技术采用LPDDR5内存，并通过中介层将数字内存计算硬件连接到内存，DIMC引擎使用改进的SRAM单元，在内存阵列内部执行计算 [3] - 其Apollo计算核心包含八个DIMC单元，可并行执行64×64矩阵乘法，支持INT8、INT4和块浮点等多种数值格式 [3] - 公司预计3DIMC将使AI推理工作负载的内存带宽和容量提高几个数量级 [5] 产品演进与性能目标 - 公司现有旗舰产品Corsair采用PCIe Gen5规格，具有150 TB/s的超高内存带宽 [7] - 下一代架构Raptor将融入3DIMC技术，目标是在运行AI推理工作负载时，与未来的HBM4相比，实现10倍内存带宽提升和10倍能效提升 [5][9] - 公司认为这些提升是阶跃式的改进，将重新定义大规模推理的可能性 [5][9] 市场预测与机遇 - 早在2022年底ChatGPT推出前，公司就已预见大型语言模型将催生对更大、更快内存的需求 [5] - 公司联合创始人Sid Sheth在2022年预测，Transformer模型将成为未来5到10年AI计算的主要工作负载，并最终导致AI推理工作负载激增 [6] - 到2025年，从AI训练到AI推理的重大转变正在发生，代理AI预计将在未来几年推动巨额投资 [7]