跨越AI记忆体墙:储存阶层的重新分配与HBF剖析

摘要

在AI推理应用中,MoE架构和长文本处理使模型权重与KV Cache对记忆体容量需求大幅提升,让运算瓶颈从算力不足,转向记忆体容量受限。随著海量温数据快速增加,将驱动储存阶层重构,由HBM处理热数据,HBF承载温数据以优化成本效益;然HBF的商业化仍需克服先进封装制程与NAND Flash固有特性的挑战。

一. LLM的发展瓶颈:模型架构的转变影响运算架构
二. 从算力瓶颈到储存阶层的重塑
三. 拓墣观点

图一 MoE特性说明
图二 AI储存阶层厂商布局策略说明
图三 储存阶层的热、温、冷架构说明
图四 「H3」架构说明

表一 HBM与HBF规格对照

 

跨越AI记忆体墙:储存阶层的重新分配与HBF剖析

请输入您的会员账号与密码,即可浏览全文

Login 如何购买 下载完整报告档案 1.20MB PDF

会员专属
您好,该资料属会员权益方可浏览,您需成为会员且购买此产业项目权限才可观看,详细说明如下:
  • 拓墣产业研究院之「产业数据库」为付费的会员服务,若您尚未具备会员身份,欢迎您申请加入或是与我们的客服联络了解。
  • 若您所属公司机关已具有拓墣会员身份,并且设定予贵公司人员在线申请,请先行移至「申请会员账号」填写申请数据后送出,我们会尽快为您审核办理。若未开放在线申请,请您询问贵公司的承办联系人处理,谢谢。
  • 由于贵公司无采购此产业项目,因此您将无法浏览此篇文章,欲查询贵公司所购买的产业项目明细,请至「会员权益」查询,谢谢。
  • 客户服务专线: 02 8978-6498 ext.822
    客户服务信箱:

宣传推广

产业洞察

华星光电IJP OLED将于2026下半年导入品牌监视器及笔电产品,韩系主导格局迎来挑战

根据TrendForce表示,华星光电力推IJP OLED技术,希望以此切入监视器以及笔电 [...]

CSP自研ASIC浪潮加速MLCC规格集中,2H26高阶特规品恐面临结构性短缺

根据TrendForce最新MLCC产业研究,随著全球云端服务供应商(CSP)AI军备竞赛 [...]

TSMC加速布局CoPoS,台湾面板厂及相关材料、设备商藉FOPLP卡位Glass Core Substrate先机

AI半导体需求爆发驱动先进封装技术快速演进,面板级封装(FOPLP)成为各方角力的新战场。 [...]

光互连成AI Factory扩张关键,预估2030年CPO/NPO市场规模将破390亿美元

根据TrendForce最新矽光子产业研究,随著AI训练与推论需求快速扩张,AI 资料中心 [...]

AI续强、消费供应链提前备货发酵,第一季全球前十大晶圆代工营收季增3.7%

根据TrendForce最新晶圆代工产业研究,除了AI HPC与相关周边订单仍如火如荼出货 [...]