大模型对HBM的影响说明
摘要
随著LLM与长文本KV Cache持续膨胀,运算瓶颈由算力转向记忆体架构。高频宽快闪记忆体(HBF)可望透过开放运算计画(OCP)与UCIe标准化加速普及,透过模型架构创新结合HBF高容量与平行读取的能力,填补高频宽记忆体(HBM)与固态硬碟之间的落差;与此同时,记忆体厂商藉由先进封装环节,试图重组AI运算架构中的产业阶序,但「软体定义硬体」的生态也由运算延伸至储存与I/O层与之抗衡。
随著LLM与长文本KV Cache持续膨胀,运算瓶颈由算力转向记忆体架构。高频宽快闪记忆体(HBF)可望透过开放运算计画(OCP)与UCIe标准化加速普及,透过模型架构创新结合HBF高容量与平行读取的能力,填补高频宽记忆体(HBM)与固态硬碟之间的落差;与此同时,记忆体厂商藉由先进封装环节,试图重组AI运算架构中的产业阶序,但「软体定义硬体」的生态也由运算延伸至储存与I/O层与之抗衡。
© 2026 拓墣科技 及/或 集邦科技(集邦咨询顾问(深圳)有限公司) 版权所有