HBM 獨大的時代結束了，
記憶體金字塔多了兩層

這篇後面會一直用「訓練」「推論」這兩個詞，先用白話講清楚它們的差別——這也是為什麼兩者需要的記憶體完全不同。

今天主流的模型架構叫 Transformer，訓練和推論都是在同一個 Transformer 上進行，只是做的事情相反。

拿「老師改考卷」來比喻：

Forward Pass（前向傳播）是學生用目前學到的東西作答，交出一個分數（loss）。

Backward Pass（反向傳播）是老師從錯的答案往回推，指出哪些觀念沒學好。

Optimizer Update（優化器更新）是學生根據回饋修正筆記，還記下「這次修正的方向和力道」以免下次矯枉過正。

這三步驟每個 batch 資料都要跑一次，而且要重複成千上萬次——所以權重、梯度這些要被頻繁讀寫的資料，能不能被高速存取，直接決定訓練跑得快不快。

傳統 DRAM 插在主機板上，得經過 PCIe 介面才能和運算晶片交換資料，等於每一筆資料都要繞遠路。

HBM 的解法是搬家＋疊高：把好幾層 DRAM 晶片垂直疊起來，層與層之間用矽穿孔（TSV，Through-Silicon Via）——在晶片上鑿出的垂直通道——直接相連，再把整疊記憶體和運算晶片並肩封裝在同一塊中介層（interposer，晶片之間的橋接基板）上。

資料要走的路一下子短了好幾個數量級，頻寬也跟著翻了十幾倍。

HBM4 把 pin 數從 1,024 直接翻倍到 2,048，這是它頻寬能再往上跳的主因（HBM 16-Hi 指堆疊 16 層 DRAM 的版本）。

想像你在回一封長信。

Prefill（預填）是一口氣把對方寄來的整段話讀完、在腦中建立完整理解——模型一次平行處理整段 prompt，把每一層算出來的 K/V 向量存進 KV 快取（KV Cache，Key-Value Cache），同時就吐出第一個字。

Decode（解碼）是逐字寫回信：每寫一個新字，都要回頭讀 KV 快取裡已經建立的理解，寫完又要把這個新字的 K/V 加回快取——這就是為什麼 decode 只能一次吐一個 token，沒辦法像 prefill 那樣平行處理。

KV 快取裝不下 HBM，業界從三個方向補位：一個新的記憶體品類（HBF）、一個新的儲存層級（SSD POD），以及把既有的晶片內 SRAM 推到極限。

把前面幾節攤開來看，就是這張圖：訓練時代的記憶體階層只多了 HBM 一層；推論時代因為 KV 快取的容量壓力，一次多長出 HBF 與 SSD POD 兩層。

記憶體階層的變化不是紙上談兵——2026 上半年幾家主要玩家的產品發表，正好一一對應到前面講的每一層。

這篇的關鍵詞，一句話版。

HBM High Bandwidth Memory

高頻寬記憶體。DRAM 垂直堆疊 + TSV 連接，貼近運算晶片封裝，訓練時代唯一新增的記憶體層。

HBF High Bandwidth Flash

高頻寬快閃記憶體。結構像 HBM，但材料是 NAND；SanDisk 與 SK 海力士合推，補 HBM 與 DRAM 之間的容量空隙，尚未量產。

SRAM Static RAM

靜態隨機存取記憶體，晶片內建、速度最快但也最貴最小。Groq、Cerebras 用大面積 SRAM 把 decode 推過 HBM 上限。

DRAM Dynamic RAM

一般主記憶體，比 SRAM 慢便宜、比 SSD 快貴。金字塔中段的層級。

NAND

快閃記憶體，斷電資料不會消失，SSD 和 HBF 都是用 NAND 做的。

TSV Through-Silicon Via

矽穿孔。在晶圓上打垂直洞連接堆疊的多層晶片，是 HBM 和 HBF 都靠它做垂直堆疊的關鍵技術。

中介層 interposer

晶片與晶片之間的橋接基板，讓 HBM 能跟運算晶片並排封裝在同一塊基板上，縮短資料路徑。

KV Cache Key-Value Cache

鍵值快取。存下每個 token 算出的 Key/Value 向量，生成新字時不必重算前文，代價是隨對話變長而膨脹。

Prefill 預填

推論第一階段。一次平行處理整段 prompt，建好初始 KV 快取，同時吐出第一個 token。

Decode 解碼

推論第二階段。逐 token 讀 KV 快取、寫回新的 K/V，一次只能生成一個字。

Forward Pass 前向傳播

訓練第一步。讀出每層權重做矩陣運算，得到預測輸出，跟正確答案比對算出 loss。

Backward Pass 反向傳播

訓練第二步。用鏈式法則從 loss 往回推，讀取 forward 暫存的 activations，逐層算出梯度。

Optimizer Update 優化器更新

訓練第三步。讀梯度、更新並寫回權重，還要多存兩個跟權重同大小的優化器狀態（一階動量 m、二階動量 v）。

梯度 gradient

告訴模型「每個參數該往哪個方向調整多少」的數值，backward pass 算出來、跟權重同樣大小。

損失函數 loss

衡量模型答錯多少的分數，forward pass 的最終產物，也是 backward pass 的起點。

test-time scaling 測試時擴展

讓模型在「回答時」多花算力先思考再給答案，是本文開場提到的產業轉向動力。

agentic AI 代理式 AI

會自己規劃、呼叫工具、串多步流程的 AI，推論流程因此多了 Orchestration 並迴圈回 Prefill。

ASIC Application-Specific Integrated Circuit

特殊應用積體電路，針對單一任務客製設計的晶片，比通用 GPU 更專精也更難改。Etched 的 Sohu 是 Transformer 專用 ASIC。

LPU Language Processing Unit

Groq 自研的語言處理晶片，靠大面積 SRAM 取代 HBM，主打推論速度。

RDU Reconfigurable Dataflow Unit

SambaNova 的可重構資料流處理器，架構可依任務動態調整，SN50 主打 agentic 推論。

CXL Compute Express Link

讓不同晶片、不同機器共享同一塊記憶體池的高速互連標準，是 TrendForce 下一篇要談的容量擴展方案。

KV Cache offloading KV 快取卸載

把不常用的「冷」KV 快取資料，從 HBM 往下搬到更大更便宜的儲存層級，HBF 量產前的過渡做法。

SSD POD

NVIDIA 2026 年提出的新儲存層級，介於本地 SSD 與共享儲存之間，專門承接卸載下來的 KV 快取。

CMX Context Memory Storage Platform

NVIDIA 的情境記憶體儲存平台，KV 快取專用儲存，也是 BlueField-4 STX 機櫃的核心元件。

tape out 流片

把晶片設計圖送去晶圓廠試產第一批樣品，是晶片開發的關鍵里程碑。Etched 的 Sohu 首次流片就一次成功。

PCIe Peripheral Component Interconnect Express

連接運算晶片與周邊裝置（含一般 DRAM）的標準介面，PCIe 6.0 x16 單向頻寬 128 GB/s，遠低於 HBM。

HBM 16-Hi

指堆疊 16 層 DRAM 的 HBM 版本（Hi＝high，層數），HBM4 16-Hi 堆疊容量約 48 GB。

batch size

模型同時處理的請求數量。batch size 越大，KV 快取要同時保存的份數越多，容量壓力越大。

context window 上下文窗口

模型一次能記住的文字長度上限。窗口越長，KV 快取要存的 token 越多。