TrendForce集邦咨询： 受AI加速芯片新品带动，HBM3与HBM3e将成为2024年HBM市场主流

Aug. 1, 2023 ---- 根据TrendForce集邦咨询调查显示，2023年HBM(High Bandwidth Memory)市场主流为HBM2e，包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时，为顺应AI加速器芯片需求演进，各原厂计划于2024年推出新产品HBM3e，预期HBM3与HBM3e将成为明年市场主流。

HBM各世代差异，主要以速度做细分。除了市场已知的HBM2e外，在进入HBM3世代时，产业出现较为混乱的名称。TrendForce集邦咨询特别表示，目前市场所称的HBM3实际需细分为两种速度讨论，其一，5.6~6.4Gbps的HBM3;其二，8Gbps的HBM3e，别名HBM3P、HBM3A、HBM3+、HBM3 Gen2皆属此类。

目前三大原厂HBM发展进度如下，两大韩厂SK海力士(SK hynix)、三星(Samsung)先从HBM3开发，代表产品为NVIDIA H100/H800以及AMD的MI300系列，两大韩厂预计于2024年第一季送样HBM3e;美系原厂美光(Micron)则选择跳过HBM3，直接开发HBM3e。

HBM3e将由24Gb mono die堆栈，在8层(8Hi)的基础下，单颗HBM3e容量将一口气提升至24GB，此将导入在2025年NVIDIA推出的GB100上，故三大原厂预计要在2024年第一季推出HBM3e样品，以期在明年下半年进入量产。

CSP陆续启动自研AI加速芯片计划，欲摆脱对NVIDIA与AMD的依赖

观察AI服务器(AI server)所用的加速芯片，其中英伟达(NVIDIA)Server GPU市占最高。然而，单张20,000~25,000美元的H100/H800，一台AI服务器建议配置约为8张卡，也使得总体拥有成本(Total Cost of Ownership，TCO)大幅提升。TrendForce集邦咨询观察到，各云端服务业者(CSP)虽然仍会向NVIDIA或超威(AMD)采购Server GPU，但也同步进行自研AI加速芯片的计划。

除了已经推出的Google TPU与AWS Trainium和Inferentia外，Google与AWS正着手研发次世代自研AI加速芯片，将采用HBM3或HBM3e。TrendForce集邦咨询表示，其他包含北美及中国的云端服务业者亦有相关验证进行中，预期未来AI加速芯片版图竞争会更加激烈。