2023年HBM（High Bandwidth Memory）市場主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設(shè)計(jì)。同時，為順應(yīng)AI加速器芯片需求演進(jìn)，各原廠計(jì)劃于2024年推出新產(chǎn)品HBM3e，預(yù)期HBM3與HBM3e將成為明年市場主流。

HBM各世代差異，主要以速度做細(xì)分。除了市場已知的HBM2e外，在進(jìn)入HBM3世代時，產(chǎn)業(yè)出現(xiàn)較為混亂的名稱。TrendForce集邦咨詢特別表示，目前市場所稱的HBM3實(shí)際需細(xì)分為兩種速度討論，其一，5.6~6.4Gbps的HBM3；其二，8Gbps的HBM3e，別名HBM3P、HBM3A、HBM3+、HBM3 Gen2皆屬此類。

目前三大原廠HBM發(fā)展進(jìn)度如下，兩大韓廠SK海力士（SK hynix）、三星（Samsung）先從HBM3開發(fā)，代表產(chǎn)品為NVIDIA H100/H800以及AMD的MI300系列，兩大韓廠預(yù)計(jì)于2024年第一季送樣HBM3e；美系原廠美光（Micron）則選擇跳過HBM3，直接開發(fā)HBM3e。

HBM3e將由24Gb mono die堆棧，在8層（8Hi）的基礎(chǔ)下，單顆HBM3e容量將一口氣提升至24GB，此將導(dǎo)入在2025年NVIDIA推出的GB100上，故三大原廠預(yù)計(jì)要在2024年第一季推出HBM3e樣品，以期在明年下半年進(jìn)入量產(chǎn)。

CSP陸續(xù)啟動自研AI加速芯片計(jì)劃，欲擺脫對NVIDIA與AMD的依賴

觀察AI服務(wù)器（AI server）所用的加速芯片，其中英偉達(dá)（NVIDIA）Server GPU市占最高。然而，單張20,000~25,000美元的H100/H800，一臺AI服務(wù)器建議配置約為8張卡，也使得總體擁有成本（Total Cost of Ownership，TCO）大幅提升。TrendForce集邦咨詢觀察到，各云端服務(wù)業(yè)者（CSP）雖然仍會向NVIDIA或超威（AMD）采購Server GPU，但也同步進(jìn)行自研AI加速芯片的計(jì)劃。

除了已經(jīng)推出的Google TPU與AWS Trainium和Inferentia外，Google與AWS正著手研發(fā)次世代自研AI加速芯片，將采用HBM3或HBM3e。TrendForce集邦咨詢表示，其他包含北美及中國的云端服務(wù)業(yè)者亦有相關(guān)驗(yàn)證進(jìn)行中，預(yù)期未來AI加速芯片版圖競爭會更加激烈。