生成式人工智能驱动下的高带宽存储器架构演进、价值链重构与内存计算技术研究 | 一文看懂AI大佬都在抢的HBM是啥玩意儿

生成式AI浪潮下的高带宽存储器架构演进、价值链重构与内存计算技术研究

王文广（kdd.wang@gmail.com）

2022年以来，生成式人工智能（Generative AI）技术的爆发式发展，正以前所未有的深度和广度重塑着全球的科技与产业格局。从大型语言模型（LLM）到多模态应用，AI模型参数量的指数级增长和数据处理需求的激增，对算力基础设施提出了严峻的挑战。在这场算力的竞赛中，图形处理器（GPU）等逻辑芯片吸引了绝大部分的目光，然而，一个长期存在却在当下愈发凸显的瓶颈，正成为制约AI性能进一步提升的“阿喀琉斯之踵”——这就是半导体存储器。

存储器，作为数据处理工作流中不可或缺的一环，其性能直接决定了数据能否被高效地供给逻辑芯片进行计算。如果将逻辑芯片（CPU、GPU）比作处理工作的人，存储器（DRAM）就是摆放待处理文件的工作台，而存储（NAND）则是长期保存资料的书架。工作台的大小和取放文件的速度，直接影响人的工作效率。当前，AI模型的发展速度已经远远超过了传统存储器性能提升的速度，形成了所谓的“内存墙（Memory Wall）”问题。数据传输的延迟和带宽的不足，使得耗资巨大的逻辑芯片常常处于“等待喂料”的闲置状态，算力无法被充分释放。

据预测，到2030年，全球半导体市场规模将达到1万亿美元，其中存储器是仅次于逻辑芯片的第二大板块。而在存储器市场中，为生成式AI应用而生的高带宽存储器（HBM）正成为增长的核心驱动力，其市场规模预计将从2023年的54亿美元飙升至2029年的440亿美元，六年内增长超过八倍。这一惊人的增长预测背后，是整个行业对突破存储器瓶颈的迫切需求，以及一场围绕HBM技术和价值链的深刻变革。

本文将深入剖析生成式AI时代下半导体存储器所面临的技术挑战、正在发生的价值链重构，以及由此催生的前沿技术趋势与全新商业机遇（值得一提的是，本文的PDF版本以及参考资料的全文都可以从“走向未来”【https://t.zsxq.com/xpWzq】知识星球中获取）。我们将看到，这场由HBM主导的存储器革命，不仅是技术的迭代，更是一次产业生态的重塑，它将为全球半导体价值链带来新的变量和机遇。

一、 “内存墙”高悬：HBM何以成为破局关键？

“内存墙”问题的本质，是计算速度与数据访问速度之间的矛盾。下图演示了这一差距的惊人扩大：自2019年中期以来，AI模型（尤其是Transformer架构）所需的参数量（代表数据处理需求）以每两年410倍的速度暴增，而单个AI半导体所搭载的存储器数据处理能力，同期增速仅为每两年2倍。这条急剧分叉的曲线，直观地揭示了存储器性能已成为AI发展的核心瓶颈。为了打破这面墙，业界必须寻求一种能够在单位面积内实现更高容量和更快传输速度的存储解决方案。HBM应运而生。

1.1 HBM的技术构造：从平面到立体的升维打击

传统动态随机存取存储器（DRAM）是平面的，其带宽和容量的提升主要依赖于制程微缩。然而，这种方式已逐渐逼近物理极限，且成本高昂。HBM则采用了一种革命性的“升维”思路，通过立体堆叠技术，将多个DRAM芯片垂直连接起来，从而在有限的物理空间内实现存储密度和带宽的巨大飞跃。

如图所示，HBM的核心结构主要包括以下几个部分：

• DRAM堆叠体：这是HBM的主体，由多个DRAM芯片堆叠而成。每一层DRAM都通过硅通孔（TSV）技术进行垂直互连。
• 硅通孔（TSV, Through Silicon Via）：这是实现3D堆叠的关键。它通过在硅芯片上钻出微小的垂直通孔并填充导电材料，创建出芯片间最短的电气连接路径，相比传统的打线键合，大大缩短了信号传输距离，降低了延迟和功耗。
• 基础裸片（Base Die）：位于DRAM堆叠体的最底层，扮演着控制和通信枢纽的角色。它负责管理上方的所有DRAM芯片，并与外部的逻辑芯片进行高速数据交换。
• 微凸块（Microbumps）：用于将DRAM堆叠体与基础裸片，以及整个HBM模块与硅中介层（Silicon Interposer）进行电气连接的微小焊料凸点。
• 硅中介层（Silicon Interposer）：一块高精度的硅基板，HBM和GPU等逻辑芯片都封装在这块基板上。通过中介层上的高密度布线，实现了HBM与逻辑芯片之间超短距离、超宽位宽的连接，这是HBM实现“高带宽”的另一大关键。

通过这种精巧的3D封装结构，HBM将存储器与逻辑芯片的物理距离缩至最短，并提供了数倍于传统DRAM的数据通道（位宽），从而一举将带宽提升了几个数量级。例如，HBM3E的带宽已达到1.0TB/s，而即将推出的HBM4更是计划达到2.0TB/s，这种性能是传统DDR内存无法比拟的。

1.2 HBM背后的元素技术集群

HBM的实现并非单一技术的突破，而是横跨制造工艺、材料、设计等多个领域的一系列“元素技术”协同进化的结果。下面总结了六大关键技术挑战：

1. 硅通孔（TSV）技术：小型化是持续的挑战。孔径越小、深宽比越大，对光刻、蚀刻、电镀、平坦化等工艺的精度要求就越高。
2. 微凸块技术：凸块的尺寸和间距限制了集成密度和功耗降低。因此，业界正在探索无需凸块的混合键合（Hybrid Bonding）技术，以实现更紧密的连接。
3. 硅中介层技术：随着芯片尺寸增大，硅中介层面临翘曲等物理挑战。业界正在探索硅桥（只在连接处使用中介层）或玻璃中介层等替代方案。
4. 芯粒（Chiplet）技术：HBM本身就是Chiplet理念的成功应用。将不同功能的裸片（DRAM、Base Die）分别制造再集成，可以优化成本和良率。未来，AI半导体内部不同芯粒间的连接标准化将是发展的重点。
5. 电源质量稳定化：HBM的高速、大容量传输需要巨大的瞬时电流。如何在高电流下保持电压稳定，是确保其可靠运行的关键。氮化镓（GaN）等新型功率半导体材料的应用成为一个重要方向。
6. 热管理：高电流运行和3D堆叠结构使得HBM成为一个巨大的热源，同时其结构也增加了散热难度。有效的热管理设计，包括结构、电路和监控系统，对防止芯片过热至关重要。

这些元素技术的不断突破，共同推动着HBM向更高层数（从4/8层到12/16层）、更大容量（从8GB到36/48GB）和更高带宽的方向持续演进。

二、 价值链的转折：从HBM4开始的产业分工重构

HBM的发展不仅是技术的演进，更深刻地触动了半导体产业的价值链结构。在HBM3E及之前的时代，整个HBM模块的制造，包括DRAM芯片和基础裸片（Base Die），均由SK海力士、三星电子、美光科技这三大DRAM巨头采用其自身的DRAM制造工艺“一条龙”完成。这是一种典型的垂直整合制造（IDM）模式。然而，从计划于2025年末至2026年推出的HBM4开始，其价值链将发生根本性的重构。

2.1 HBM4的核心变革：基础裸片转向逻辑工艺

HBM4最关键的变革在于，其基础裸片（Base Die）将不再使用DRAM工艺制造，而是转向更先进的逻辑工艺。这一改变的直接目标是为了实现性能的翻倍——将带宽从HBM3E的1.0TB/s提升至2.0TB/s。

为什么需要这一转变？原因在于基础裸片的功能。它不仅仅是一个连接底座，更是一个集成了控制电路、物理层接口（PHY）等复杂逻辑功能的“微型大脑”。随着HBM带宽和功能的日益复杂，DRAM工艺在逻辑电路性能和集成度上已显力不从心。而尖端的逻辑工艺（如5nm、3nm）能够制造出速度更快、功耗更低、集成度更高的晶体管，从而可以为基础裸片赋予更强大的控制和通信能力，以匹配堆叠DRAM的性能需求。

2.2 水平分工模式的出现：逻辑代工厂的入局

这一工艺上的转变，直接导致了价值链的分裂和重组。传统DRAM厂商虽然在存储器制造上独占鳌头，但在先进逻辑工艺领域，全球的领导者是台积电（TSMC）、三星晶圆代工部门和英特尔等逻辑代工厂（Foundry）。因此，将HBM4的基础裸片外包给这些逻辑代工厂进行生产，成为了一个必然的、合乎逻辑的选择。

目前不仅是没有自有逻辑制造设施的SK海力士和美光，就连拥有自家晶圆代工业务的三星电子，也在积极寻求与台积电的合作。这标志着HBM的生产模式将从过去的垂直整合，转向DRAM厂商与逻辑代工厂共同协作的水平分工模式。

HBM3E及之前的价值链（垂直整合）：

• DRAM/HBM制造商（SK海力士/三星/美光）：负责DRAM芯片制造、基础裸片制造（使用DRAM工艺）、TSV形成、DRAM堆叠、封装测试等全部核心环节。

HBM4及之后的价值链（水平分工）：

• DRAM/HBM制造商（SK海力士/三星/美光）：专注于核心的DRAM芯片制造、TSV形成和DRAM堆叠。
• 逻辑代工厂（台积电/三星/英特尔）：负责采用其先进逻辑工艺制造基础裸片。
• 后续流程：DRAM制造商将堆叠好的DRAM与从逻辑代工厂采购的基础裸片进行最终的集成和封装。

这种转变意义重大。它打破了DRAM三巨头在HBM领域的封闭制造体系，首次将外部的、专注于逻辑制造的顶级玩家引入到HBM的核心制造环节。这不仅是一次简单的业务外包，而是一场深刻的产业结构调整，它将催生新的商业模式和技术路径。这一深刻的产业变革，无疑为从业者和爱好者们提供了广阔的探讨空间。欢迎加入最具价值知识星球“走向未来”（https://t.zsxq.com/xpWzq），一起探讨生成式人工智能、大模型、AIGC、AI芯片和机器人等的产品、技术和应用实践，探讨如何使用各种不同的人工智能大模型和智能体来为工作增效，为生活添彩。立即加入“走向未来”知识星球，一起走向AGI的未来（https://t.zsxq.com/xpWzq）。

三、 前沿技术趋势：价值链重构下的创新加速

HBM价值链向水平分工的演变，如同一块巨石投入平静的湖面，激起了层层涟漪。它为存储器技术的创新开辟了全新的可能性，其中最值得关注的两个方向是“定制化HBM”和“内存计算”。

3.1 定制化HBM：从标准化产品到客户专属方案

逻辑代工厂的商业模式核心在于其高度的灵活性和定制化服务能力。与DRAM厂商大规模生产标准化产品的模式不同，台积电等代工厂可以在同一片晶圆上为不同客户生产不同设计的芯片。当这种模式被应用于HBM基础裸片的生产时，“定制化HBM”便成为可能。

• 传统HBM的局限：由于是为所有客户设计的标准化产品，传统HBM的基础裸片需要内置大量的“可测试性设计（DFT, Design for Testability）”电路，以确保堆叠DRAM的良率和可靠性。这些DFT电路占据了宝贵的裸片面积。同时，为了通用性，HBM的控制功能通常需要由客户在GPU等逻辑芯片端自行设计实现，这增加了客户的设计负担。
• 定制化HBM的优势：
  1. 空间优化与功能集成：客户可以根据自身的具体需求，仅保留必要的DFT电路，从而节省出基础裸片的面积。利用这些节省出的空间，可以将原本位于GPU端的HBM控制电路直接集成到基础裸片上。
  2. 降低客户设计负担：由于HBM的控制逻辑已经内置，客户无需再为如何控制HBM而烦恼，可以更专注于其核心逻辑芯片的设计。
  3. 降低功耗：原本逻辑芯片需要频繁发送控制信号来管理HBM，现在这些控制在HBM内部完成。逻辑芯片与HBM之间的数据传输，可以专注于纯粹的计算数据，减少了不必要的通信开销，从而显著降低了功耗。

定制化HBM的出现，意味着HBM将从一种标准化的“内存条”，演变为一种可以与客户逻辑芯片深度协同的、半定制化的“智能内存模块”。这将极大地提升AI芯片设计的灵活性和整体能效，为AI硬件的系统级优化打开了新的大门。

3.2 内存计算（Compute-in-Memory）：打破计算与存储的物理边界

如果说定制化HBM是在优化“通信”，那么内存计算则是在颠覆“分工”。半导体功耗与信号传输距离成正比。传统的冯·诺依曼架构中，数据在存储单元和计算单元之间频繁往返，构成了主要的功耗来源。内存计算（或称存内计算）的核心思想，就是将一部分计算功能直接集成到存储器内部，在数据存储的地方就地进行处理，从而最大程度地减少数据搬运。

当前有两种主流的实现路径：

1. 基于DRAM的内存计算（PIM, Processing-in-Memory）：这是SK海力士和三星电子等DRAM厂商主推的技术路线。它们通过在DRAM芯片或HBM的结构中嵌入专门的计算单元，来执行一些简单但频繁的计算任务（如加法、乘法）。这可以显著减轻主逻辑芯片的负担，并降低数据传输量。
2. 基于新型存储器的内存计算：台积电等非DRAM制造商则在探索将计算单元与功耗更低的非易失性存储器（如MRAM，磁阻式随机存取存储器）相结合。MRAM等新型存储器本身具有低功耗的特性，与计算单元的结合有望实现更高的能效比，尤其适合边缘计算等对功耗极度敏感的应用场景。

如图所示，在传统架构中，大量数据需要从DRAM经过长长的路径传输到逻辑芯片的计算单元进行处理；而在内存计算架构中，部分计算直接在DRAM内部的计算单元完成，只需将计算结果传输给逻辑芯片，数据传输量大幅减少，路径也显著缩短。

内存计算被认为是后摩尔时代突破冯·诺依曼瓶颈的关键技术之一。HBM价值链的开放，特别是逻辑代工厂的加入，为内存计算的实现提供了肥沃的土壤。逻辑代工厂在设计和制造复杂计算单元方面拥有深厚的技术积累，它们可以将更高效、更多样化的计算逻辑集成到HBM的基础裸片或与其他新型存储器结合，从而加速内存计算技术的商业化落地。

四、 结论：新机遇的涌现

本文系统性地梳理了生成式AI时代下半导体存储器所经历的技术变革与产业重构。我们可以得出以下核心结论与洞察：

第一，存储器已从AI算力系统的配角，转变为决定其性能上限的核心瓶颈，而HBM是当前打破“内存墙”的最关键技术。 随着AI模型规模的持续膨胀，算力的竞争本质上已演变为一场围绕数据带宽和访问效率的竞争。HBM通过其创新的3D堆叠架构，成功地将存储器性能提升到了新的高度，成为高端AI芯片不可或缺的组成部分。

第二，以HBM4为转折点，HBM价值链正在经历从垂直整合到水平分工的深刻变革，这将重塑全球半导体产业的竞争格局。 基础裸片制造转向先进逻辑工艺，并外包给逻辑代工厂，这一变化打破了DRAM三巨头的封闭体系。它不仅引入了台积电等新的、强大的参与者，更重要的是，它将逻辑芯片领域的灵活性、定制化和先进工艺能力，注入到了传统的存储器产业中。

第三，价值链的重构正在催生以“定制化HBM”和“内存计算”为代表的新一代存储技术，推动存储器从单纯的数据仓库向“智能数据引擎”的角色演进。 水平分工模式使得跨界技术融合成为可能。DRAM厂商的存储技术、逻辑代工厂的计算和制程技术、以及AI芯片设计公司的系统级需求，得以在一个更加开放的生态中交汇、碰撞，从而加速了技术创新的步伐。存储器不再仅仅是被动地存储数据，而是开始主动地参与到数据处理的流程中。

第四，这场存储器革命为价值链的各个环节带来了全新的商业机遇。

• 对于DRAM厂商而言：虽然它们在基础裸片制造上让渡了一部分价值，但它们可以更专注于提升DRAM核心堆叠技术、TSV工艺和良率，同时可以通过与逻辑代工厂和客户的深度合作，提供更高附加值的定制化HBM解决方案。
• 对于逻辑代工厂而言：HBM基础裸片成为了其先进逻辑工艺的新增长点。它们可以利用自身的技术优势，为全球的HBM市场提供高性能、可定制的底层平台，进一步巩固其在半导体生态中的核心地位。
• 对于EDA工具和IP供应商而言：定制化HBM和内存计算带来了新的设计挑战，例如3D堆叠下的热分析、电源完整性、芯粒间接口（Die-to-Die）的设计与验证等，这为它们提供了开发新工具和IP核的广阔市场。
• 对于封装测试（OSAT）厂商而言：HBM复杂的3D结构对封装和测试技术提出了极高的要求，掌握了先进封装（如CoWoS）和高精度测试技术的厂商，将在价值链中扮演越来越重要的角色。
• 对于新兴科技公司和投资者而言：围绕HBM元素技术（如混合键合、玻璃中介层、新型存储材料、内存计算架构等）的创新，将涌现出大量具备高成长潜力的初创企业。

面对如此复杂而又充满机遇的产业图景，持续的学习和交流变得至关重要。欢迎加入最有价值的知识星球【走向未来】！在这里，我们共同探索生成式AI、大语言模型、AIGC、智能体和AI芯片的无限可能——从技术原理到产品落地，从应用实践到未来趋势。无论是用AI和智能体为工作提效，还是为生活添彩，这里都有你想了解的答案，和一群志同道合的伙伴。在【走向未来】知识星球，你可以轻松学会调用各类大模型与智能体，了解最新的具身智能和机器人产品，解锁高效与创意并存的新方式，一起见证AI如何重塑我们的日常，一步步走近AGI的精彩未来。点击链接【https://t.zsxq.com/xpWzq】加入我们，马上启程，和我们一起——走向未来，不负热爱！

总而言之，我们正处在一个半导体存储器的关键转折点。生成式AI的巨大需求如同一只强有力的手，正在推倒“内存墙”，并在此过程中重塑着整个产业的结构和未来。这场变革的核心，是从封闭走向开放，从标准化走向定制化，从功能分离走向计算与存储的深度融合。对于所有身处半导体及人工智能领域的参与者而言，理解并抓住这一历史性的转折，将是赢得未来十年竞争的关键。