深度财经头条 10月03日 14:13
AI时代存储新宠:HBM成为算力瓶颈的突破口
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着大模型参数和训练数据量的爆炸式增长,传统内存技术已成为制约算力发挥的“内存墙”。高带宽内存(HBM)凭借其超高带宽、低功耗和小体积特性,正迅速成为AI芯片的主流选择,并成为半导体存储领域的核心增长驱动力。全球科技巨头如美光和华为都在积极布局HBM,预计其供不应求情况将加剧。定制化HBM(cHBM)的出现,不仅提升了存储的TCO,还通过集成逻辑算力,重塑了存储在AI基建中的角色。同时,AI推理需求的飞速崛起,特别是对超长上下文和多模态推理的需求,进一步推高了对HBM等高性能内存的依赖。然而,HBM供应紧张也催生了“以存代算”的技术趋势,通过将AI推理过程中的数据迁移至SSD,有望大幅降低推理成本,为AI的大规模落地提供可行路径。

💡 **HBM成为AI算力核心突破口**:在AI时代,大模型参数与训练数据量激增导致传统内存技术成为“内存墙”。HBM以其超高带宽、低功耗、小体积的优势,成为AI芯片的首选,解决算力瓶颈,并被视为半导体存储板块的核心增长驱动力。

🚀 **全球巨头战略布局HBM,供不应求趋势加剧**:美光预测HBM供不应求将加剧,并已与客户就2026年HBM3E产能达成定价协议,HBM4供应也“非常紧张”。华为则宣布其昇腾AI芯片将采用自研HBM,进一步凸显了HBM在AI硬件竞争中的战略重要性。

🧠 **定制化HBM(cHBM)重塑存储角色,提升TCO**:cHBM已从被动元件转变为具备逻辑算力的主动部件,可集成不同功能和运算能力,如LPDDR与HBM并行工作,甚至在HBM堆栈中加入计算逻辑,成为性能差异化的关键。存储厂商正提供全栈解决方案并与客户开展定制化合作。

💡 **AI推理需求激增,HBM及分层存储重要性凸显**:AI推理算力需求正迅速超越训练,尤其对超长上下文和多模态推理的需求,使得HBM、DRAM、SSD、HDD等高性能内存和分层存储方案在降低访问延迟、提升并行效率方面发挥关键作用。

⚡ **“以存代算”技术兴起,为AI大规模落地提供新路径**:面对HBM供应紧张,业界正探索“以存代算”技术,将AI推理过程中的数据迁移至大容量、高性价比的SSD,以显著降低首Token时延、提升推理吞吐量和优化端到端推理成本,为AI大规模落地提供可行路径。


《科创板日报》10月3日讯,AI时代,存储芯片已从配角跃升为核心瓶颈与突破口。随着大模型参数规模与训练数据量的爆炸式增长,传统内存技术已成为制约算力发挥的“内存墙”,而HBM凭借其超高带宽、低功耗和小体积特性,正成为AI芯片的主流选择。

全球科技巨头纷纷将HBM作为战略要地。

在日前的财报会上,美光特别强调,预计半导体芯片、特别是HBM的供不应求情况将会加剧。公司CEO Sanjay Mehrotra透露,当前半导体存储领域,DRAM库存已低于目标水平,NAND库存持续下滑;而HBM产能需求增长显著,产能已被锁定,预计2026年HBM出货量增速将超过整体DRAM水平,成为半导体存储板块的核心增长驱动力。

具体HBM产品中,美光表示,已与几乎所有客户就2026年绝大部分HBM3E产能达成定价协议;公司正在与客户就HBM4进行讨论,供应“非常紧张”。

此外,华为也在近期宣布,自昇腾950PR开始,昇腾AI芯片将采用华为自研的HBM。其中,昇腾950搭载自研的HBM HiBL 1.0;昇腾950DT升级至HBM HiZQ 2.0。

▌为什么是HBM?

为何存储需求热潮中,“特别是HBM的供不应求情况或将加剧”?

华尔街分析师指出,定制化HBM(cHBM)已经从曾经的被动元件转变为具备逻辑算力的主动部件,重塑存储的角色。在这种情况下,AI基建中,存储总体拥有成本(TCO)不断上升。

定制化HBM可以集成不同功能、运算能力与逻辑Die设计,例如LPDDR与HBM并行工作,在HBM堆栈中加入计算逻辑,成为性能差异化的关键。

目前,存储厂商已开始提供覆盖HBM、逻辑die、LPDDR、PIM等的全栈解决方案,并与客户开展定制化HBM合作。

同时随着AI能耗的增加,存储厂商也开始强调HBM在节能上的价值。SK海力士预测称,HBM能效每改善10%,可带来单机架2%的节能效果,对系统级节能有重大意义。

▌AI推理将迎“十倍增长” “以存代算”技术“虎视眈眈”

以HBM为首的存储需求陡增背后,是AI推理的飞速崛起。

黄仁勋在最新采访中,重申了对AI推理的信心。他再次强调,AI推理将迎来十亿倍增长。推理的量级已不是过去的“一次性回答”,而是逐步演进的“先思考再作答”的动态生成,思考得越久,答案质量越高。

券商指出,人工智能技术的蓬勃发展推动大模型训练走向规模化,但真正创造持续商业价值的 核心环节在于推理过程。AI推理算力需求正迅速超越训练,成为成本与性能的关键瓶颈。

在这一背景下,内存受益于超长上下文和多模态推理需求,处理大量序列数据或多模态信息时,高带宽于大容量内存可降低访问延迟、提升并行效率。

广发证券指出,随着AI推理应用快速增长,对高性能内存和分层存储的依赖愈发显著,HBM、DRAM、SSD及HDD在超长上下文和多模态推理场景中发挥关键作用,高带宽内存保障模型权重和激活值的高速访问,SSD满足高频读写与短期存储需求,HDD提供海量长期存储支持。随着AI推理需求快速增长,轻量化模型部署推动存储容量需求快速攀升,预计未来整体需求将激增至数百EB级别。

但值得留意的是,“HBM供不应求情况加剧”的另一面,是供应瓶颈下可能出现的“技术替代”——“以存代算”。

天风证券认为,“以存代算”技术通过将AI推理过程中的矢量数据(如KV Cache)从昂贵的DRAM和HBM显存迁移至大容量、高性价比的SSD介质,实现存储层从内存向SSD的战略扩展,而非简单替代。其核心价值在于显著降低首Token时延、提升推理吞吐量,并大幅优化端到端的推理成本,为AI大规模落地提供可行路径。分析师进一步指出,QLC+PCIe/NVMe+CXL有望构筑下一代AI SSD基座,推动SSD从单纯存储介质,升级为AI推理“长期记忆”载体。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

HBM AI 存储芯片 内存墙 算力瓶颈 AI推理 以存代算 High Bandwidth Memory AI Computing Memory Wall Storage Chip AI Inference Storage-as-Compute
相关文章