伺服器跑得快不快,越來越常是記憶體說了算。
LPDDR(Low-Power DDR,低功耗記憶體)原本是手機和筆電用了十幾年的省電規格,從來沒人認真想過把它塞進資料中心。
現在美光(Micron,$MU)找上 Meta($META),兩邊聯手寫了一份白皮書,正式把這項「手機記憶體」推進伺服器機房。
買家已經用行動投票了。
Meta 大規模量產部署原生支援 LPDDR5X 的 NVIDIA($NVDA)Grace 晶片;
Microsoft($MSFT)正式確認資料中心架構要採用 LPDDR5X;
NVIDIA 計畫向供應鏈下達 200 億 Gb 的訂單。三個買家,不是一份行銷簡報。
報告裡最戲劇性的數字是「38.75」——這個數字背後的意涵是什麼呢?我們一起來拆解。
圖:Micron 官方產品照,來源 Micron press image gallery
三句話講完這篇在幹嘛、為什麼該注意。
Micron 找 Meta 一起掛名寫白皮書,拿 Meta 自己生產環境在用的測試工具(DCPerf),測兩款規格不同的 LPDDR5X 記憶體,能不能扛住資料中心的真實工作負載。
容量差兩倍的兩款記憶體,跑資料倉儲查詢時速度差了 2.82~3.45 倍;拆到單一運算階段,最大差距衝到 38.75 倍。快的原因不是記憶體比較神,是「裝得下」跟「裝不下」的差別。
Meta 已經量產部署、Microsoft 已經確認採用、NVIDIA 計畫砸 200 億 Gb 訂單——需求方已經用真金白銀的訂單行動投票。對美光來說,這是 HBM 之外,還沒被大家盯上的第三條產品線。
資料中心的記憶體圈,一直只有兩個選手在打:HBM 跟 DDR5。LPDDR 原本根本不在牌桌上。
HBM(High Bandwidth Memory,高頻寬記憶體)疊在 GPU 旁邊,專門服務 AI 訓練與推論——頻寬最高,但也最貴、最耗電,像是資料中心裡的超跑。
DDR5 RDIMM(Registered DIMM,伺服器標準記憶體模組)是資料中心 CPU 的標配,容量夠、可插拔、可維修,是用了幾十年的老規格。
LPDDR(Low-Power DDR)則是手機、筆電、平板用了十幾年的記憶體規格——設計目標從一開始就是「省電」,不是「插進資料中心」。
三者的定位差在哪?我們攤開來看清楚。
柱高代表三者「相對頻寬」的大致定位——HBM 最高、DDR5 居中、LPDDR 最低。
LPDDR 犧牲頻寬、換來省電。問題是,這個優勢以前資料中心用不上,原因就出在「焊死」(本節最後解釋)。
美光先前有一份分析算過一筆帳:同樣的存取情境下,LPDDR5X 的 DRAM 功耗只有 DDR5 的 23%~25%——換句話說,同一份記憶體工作量,LPDDR5X 省下接近四分之三的電。這個對比出自美光先前另一份自家分析《The role of low-power (LP) memory in data center workloads》,不是這篇白皮書的 SKU1/SKU2 主測試,要分開看。
三種存取情境(讀寫各半、只讀、串流讀寫)下,LPDDR5X 的 DRAM 功耗都落在 DDR5 的 23%~25%,接近省下四分之三。這份對比來自 Multichase(Google 開源的記憶體微基準測試工具)交叉驗證,是美光先前的分析,不是這篇白皮書 SKU1/SKU2 的主測試。
省電是誘因,但以前沒人敢把 LPDDR 搬進資料中心,因為它有一個資料中心不能接受的毛病。
焊死(soldered)——手機、筆電裡的 LPDDR 是直接焊在主機板上的,不是插拔式模組。壞一顆,換的不是一根記憶體條,是整片主機板。
資料中心的維運邏輯完全相反:
記憶體必須能插、能抽、能單獨更換。
一台伺服器裡幾百 GB 記憶體只要死一顆,維運團隊要能在幾分鐘內換掉它,而不是拆整台機器重來。
這個「焊死」的毛病,直到 SOCAMM2 出現,才被真正解決。
SOCAMM2 是這篇故事真正的解鎖鍵。
SOCAMM2(Small Outline Compression Attached Memory Module,第二代小型化記憶體模組)是美光在 2026 年 3 月發表的規格——把 LPDDR5X 做成一片可插拔的模組,而不是焊死在板子上的晶片。
單一模組容量做到 256GB,靠的是業界第一顆單晶片(monolithic die)32Gb LPDDR5X 晶粒——一顆晶片就是 32Gb,不用堆疊封裝就能做出高容量。拿一台伺服器 CPU 常見的 8 記憶體通道規格來算,插滿 SOCAMM2 可以堆到單一 socket 2TB——這是以前焊死做法做不到的容量。
跟資料中心標配的 RDIMM 比,SOCAMM2 功耗只要三分之一、體積只要三分之一——省電的優勢,終於能用「插拔」的方式搬進資料中心。
同樣是 LPDDR5X,差別只在封裝方式:焊死代表整片主機板綁在一起,壞一顆記憶體就要整片換掉;SOCAMM2 把它做成插拔模組,壞一顆只要抽換那一根——資料中心維運能接受的,是後者。
長上下文 LLM 推論的 time-to-first-token(首個字元回應時間)快 2.3 倍;純 CPU 應用每瓦效能提升 3 倍。每模組容量比前一代提升 1.33 倍。
美光已對客戶送樣中,尚未量產出貨。白皮書結尾也預告下一步:LPDDR5X 要繼續往 9600 MT/s 衝——容量解決了,接下來拚的是速度。
光有 SOCAMM2 這個「插座」還不夠,還要有人證明「插進去真的能用」。
這次不一樣的地方,是 Meta 直接掛名共同作者——四位 Meta 硬體系統工程師跟美光的記憶體團隊一起寫這份白皮書,使用的是 Meta 內部生產環境實際運行的測試工具。
這比純廠商自吹自擂的白皮書可信一級,但也要誠實講:主導測試設計、跑測試的還是美光,Meta 的角色是掛名共同作者、提供工具跟情境,不是獨立第三方認證。先看他們拿什麼測。
AI 資料管線的大量記憶體搬運工——把張量資料從一種批次格式重新打包成另一種,做的是 memcpy(記憶體複製)等級的粗活,對頻寬很敏感。
把序列化過的張量資料解析、重建回可以運算的格式——同樣是頻寬敏感的工作,跟 Tensor Rebatching 常常前後接在一起跑。
模擬 Facebook 網頁伺服的負載(Tuned+MLP 兩種變體,外加 LambdaChase 注入記憶體壓力),掃過 36~288 個併發數,是延遲敏感的工作負載。
Spark / Spark SQL(開源大數據處理框架)的資料倉儲查詢——容量敏感,這篇報告最戲劇性的數字都從這裡來。
再交叉驗證用 DCPerf(Meta 開源的資料中心效能測試工具集)跑出來的結果,用 Multichase(Google 開源記憶體微基準測試工具)單獨測記憶體延遲跟頻寬,確保不是單一工具的誤差。
白皮書比的不是「LPDDR vs DDR5」,而是LPDDR 對 LPDDR——同樣都是 LPDDR5X,但容量、速度、rank 配置不同的兩顆:SKU1 大而慢,SKU2 小而快。CPU 都是同一顆:72 核心/socket 的 Arm(安謀,$ARM)處理器。
| 規格 | SKU1(美光料號 62F8) | SKU2(美光料號 62F4) |
|---|---|---|
| CPU | 72 核心/socket(Arm,白皮書未具名) | 同左 |
| 容量 | 512GB/socket LPDDR5X(全機 1TB) | 256GB/socket(全機 512GB) |
| 速度 | 6400 MT/s(每秒百萬次傳輸);384 GB/s | 8533 MT/s;512 GB/s |
| Rank | 4-rank(疊更多晶片換容量,電氣負載重→跑不快) | 2-rank(疊少,電氣負載輕→跑得快) |
rank(記憶體排)白話講就是同一個通道裡疊了幾組晶片——疊越多,容量做得越大,但電氣負載也越重,訊號跑不快;疊越少,訊號跑得快,但容量小。SKU1 疊 4-rank 換容量,SKU2 只疊 2-rank 換速度——這是同一種材料在容量跟速度之間的取捨,不是誰的技術比較好。
白皮書沒有點名測試平台的 CPU 型號,只寫「72 核心/socket 的 Arm 處理器」。這組規格剛好跟 Meta 已經量產部署的 NVIDIA Grace(72 核 Arm Neoverse V2、原生支援 LPDDR5X)完全吻合——但白皮書沒有明講,這是本文根據規格比對做出的推測,不是官方證實。
兩款記憶體,測出兩種完全不同量級的差距。
先看速度組——SKU2(8533 MT/s)比 SKU1(6400 MT/s)實測 DRAM 頻寬快 13%,反映到 Tensor Rebatching、mediawiki_mem 這類頻寬、延遲敏感的工作負載上。
Deserialization 這個工作負載也同步受惠:頻寬提升 6%,IPC(每時脈指令數)提升 18%。Multichase 交叉驗證也確認:SKU2 在所有 stride(存取跨距)下,loaded latency(負載下的存取延遲)都比 SKU1 低。
有個小但重要的但書:這次測試 mediawiki_mem 只開了 2 個 HHVM(Facebook 自家開發的 PHP 網頁程式執行引擎)實體,併發還沒摸到飽和——換句話說,SKU2 的優勢是在還沒吃緊的情況下量出來的,換算到更高執行緒數的真實部署,差距預期只會更明顯,不會縮小。
再看容量組——這才是整篇報告最戲劇性的部分。SparkBench 量的是 SKU1 相對 SKU2 的 speedup,數字越大代表容量小的 SKU2 輸得越慘。標準負載下,查詢吞吐量(QPH,每小時能完成幾次查詢)跟執行時間(Exec)都差了 2.82 倍;把資料量放大 3 倍,差距擴大到 3.45 倍。拆到每個運算階段(stage)看,差距更誇張。
Stage2 的 38.75 倍超出這張圖的線性刻度上限(6×),用斷軸處理:長條在刻度上限處被截斷再接續延伸,長度不代表真實比例,但標籤上的 38.75× 是白皮書實測的真實數字。
箭頭由「標準負載」的空心點指向「3x 負載」的實測值——一眼看出誰惡化(紅)、誰收斂(青)。
把資料量放大 3 倍後,連原本沒問題的 Stage1 也開始吃緊——差距從打平(0.96×)擴大到 5.96×,因為 page cache(頁面快取,作業系統暫存最近讀過的硬碟資料的記憶體區塊)裝不下整份資料,每次掃描都要重新從硬碟讀一次。
Stage2 差了 38.75 倍,不是打字錯誤,是這個階段的 shuffle(洗牌/資料重分配,Spark 查詢裡把資料在不同運算節點間重新分配對齊的步驟)把資料量沖過了 DRAM 的容量上限,一部分資料被迫溢寫到硬碟(spill-to-disk),從奈秒級的記憶體存取,掉成微秒到毫秒級的硬碟存取。
想像你在整理一整桌的文件——桌面(記憶體)夠大,可以整份攤開,伸手就拿到需要的頁面;桌面不夠大,你就得不斷起身走到檔案櫃(硬碟)前翻找、拿回來、再放回去。慢的不是你的手腳,是每一次都要多走那一趟路——SOCAMM2 的貢獻,就是讓資料中心第一次能把 LPDDR 這張「桌子」做得夠大,而不是換一套更神奇的記憶體。
在把這篇讀成「LPDDR 要顛覆資料中心」之前,先劃清楚四條線。
這是廠商 benchmark,美光主導測試設計與執行;但 Meta 掛名共同作者、用的是自己生產環境的測試工具(DCPerf),比純廠商白皮書可信一級,不是獨立第三方認證。
SKU1 對 SKU2 比的是容量與速度的取捨,不是 LPDDR 對 DDR5 整機對決。前面那組「省下 75% 功耗」的數字,來自美光先前另一份自家分析,不是這篇白皮書的主測試。
是「記憶體不夠,掉到硬碟」的懸崖效應——任何夠大的記憶體都能避免。SOCAMM2 的真正貢獻,是讓 LPDDR「裝得夠大」變成可能,以前焊死的做法做不到這件事。
AI、agentic 應用讓伺服器的瓶頸從 CPU 移向記憶體與儲存,這是美光的 thesis,也是他們的產品 pitch。兩者不衝突——一家公司完全可以同時說中趨勢,又靠這個趨勢賣東西。
整份報告最實用的結論,其實是一張決策樹:先問自己的 workload 卡在哪一關,再決定要買容量還是買速度。
真 takeaway 分兩層:容量夠不夠是 38× 級的變數,速度快 13% 只是 11% 級的變數——先買夠,再買快。而「夠不夠、快不快」永遠要對照自己的 workload,沒有一款記憶體同時是兩邊的最優解。
白皮書是一回事,買家真金白銀的訂單是另一回事——後者更值得看。
拉遠來看,這篇白皮書真正想回答的問題,是「LPDDR 進資料中心,到底是不是真需求」。答案已經寫在買家的行動裡。
The Register(2026/02/17)報導:Meta 完成首個大規模 Grace-only 量產部署,部分 CPU 工作負載每瓦效能最高快 2 倍,跑的是不需要 GPU 的 GPC(General Purpose Computing,通用運算)與 agentic AI(能自主連續執行多步驟任務的 AI 應用)工作負載。Grace 是 72 核 Arm Neoverse(Arm 專門設計給伺服器 CPU 用的核心架構) V2,原生支援 LPDDR5X——跟白皮書測試平台的規格吻合。Meta 的 Arm 化也不只 NVIDIA 一條路:Arm AGI CPU(136 核、台積電 3nm,Meta 是首發客戶,2026 下半年量產)、高通 Qualcomm($QCOM)與 Meta 的資料中心 CPU 多世代合作協議(2026/06)都已經簽下去。
Microsoft($MSFT)已正式確認要在資料中心架構部署 LPDDR5X。NVIDIA 計畫向供應鏈下總量 200 億 Gb 的 SOCAMM 訂單——這不是白皮書的推測,是採購行為。
TrendForce(2026/03/04):三星(韓國・005930)已送樣 NVIDIA、SK 海力士(韓國・000660)開發原型中;供應鏈消息指三星拿下約 100 億 Gb 訂單、SK 海力士拿剩餘的 60%~70%、美光拿其餘。美光雖然規格上第一個推出 256GB 單模組,但在這輪訂單分配裡不是拿最多的那家——容量技術領先跟訂單份額領先,是兩件事。
2026 年 6 月的 FQ3 財報電話會議:單季營收 $41.46B(優於預期 16%),data center 營收 $25B,約占六成;管理層預期 HBM TAM 將提前在 2027 年突破 $1,000 億(原估 2028 年)。對美光來說,HBM 是大家都盯著的主線,DDR5+NVMe(見「AI Agent 的第二戰場」篇)是第二條線,LPDDR/SOCAMM2 是還沒被大家盯上的第三條線。
這篇的關鍵詞,一句話版。
同系列篇章:這篇講 HBM、HBF、SSD POD 組成的記憶體金字塔——本文則是金字塔之外,LPDDR 怎麼從手機走進資料中心。
同系列篇章:那篇提到 SOCAMM 是 KV cache 爆量後的紓壓閥之一——這篇把 SOCAMM2 的故事講完整。
同系列篇章:那篇講的是應用伺服器的 DDR5+NVMe——美光的第二條線;這篇是第三條線 LPDDR/SOCAMM2。
同系列篇章:SOCAMM2 這類新規格最早在展場冒出頭的脈絡,都在那篇裡。