當 AI 算力需求指數成長、電費與成本壓力暴衝,衡量效率的單位悄悄換了:不再看「單顆晶片多快」,而是看「一整座機櫃每瓦幾分效能」。這一換,逼著半導體公司從「賣晶片」變成「賣整台機櫃」。NVIDIA、四大雲端、以及台廠 ASIC 三雄,正在這個新戰場上各自卡位。
AI 的競爭單位正從「晶片」放大到「機櫃(rack)」再到「POD(一整套獨立 AI 運算單元)」。決勝點不再是單顆晶片的規格,而是整櫃的每瓦效能與每總持有成本(TCO)效能——而要把幾十顆晶片黏成「一台邏輯機器」,靠的是互連(interconnect)。
三方在打:NVIDIA($NVDA)用 7 顆 Rubin 晶片 + 5 種 MGX 機櫃做「全棧」,還買下 Groq、Enfabrica 補齊推論與網路;四大雲端 CSP 各自自研整櫃想擺脫 NVIDIA;ASIC 設計服務商(Broadcom $AVGO、Marvell $MRVL、聯發科 2454、GUC 3443、Alchip 3661)則把 CPO(共同封裝光學)當成從「賣晶片」擠進「賣機櫃」的共同入場券。
過去比 AI 硬體,比的是「這顆 GPU 幾 PFLOPS、HBM 多大」。但當一顆晶片吃掉上千瓦、一座資料中心的電費比蓋樓還貴,真正的問題變成:同樣一度電、同樣一塊錢,能換到多少 AI 運算? 這個問題,單看一顆晶片答不出來——它取決於幾十顆晶片如何被組成一整櫃、又如何被串成一整座資料中心。
TrendForce 給的定義:一個 POD(Point of Delivery,交付單元) 是一個「可獨立運作的 AI 運算單元」,由運算節點 + 網路 + 儲存 + 軟體組成。你可以把它想成「一整套即插即用的 AI 超級電腦」——雲端業者要擴充算力,不是一顆一顆買晶片,而是一個 POD、一個 POD 地蓋。
當「基本單位」變大,賣方也得跟著變大:只賣晶片的公司,會被只想採購「整套 POD」的客戶邊緣化。這個轉變橫跨資料中心每一層——從儲存層的 SSD POD 擴張,到本篇的運算與互連層。(儲存層見前一篇〈推論吃掉記憶體〉。)
Scale-up interconnect(垂直擴展互連) 是這整篇的技術核心:它讓一個系統內、甚至跨機櫃的多顆晶片,用超低延遲綁成「一台邏輯上的機器」,記憶體與算力像一顆巨型晶片般共享。
NVIDIA 的 scale-up 叫 NVLink;雲端業者則各自造輪子(Google 的 ICI、AWS 的 NeuronLink…)。誰的互連又快又省,誰的整櫃每瓦效能就贏——這就是新戰場的第一條護城河。
後面那張「產品線矩陣」把 switch(交換器)分成四種,看起來很雜。其實它們是一條由內往外的放大階梯:先把一櫃綁成一台(scale-up),再把多櫃連成叢集(scale-out),最後把多座資料中心連成一座超級工廠(scale-across)。看懂這條階梯,整篇就通了。
每往外一層,連的東西更大、距離更遠、允許的延遲也更寬鬆。CXL 則是另一條「記憶體共享」的通道,和這條階梯正交。
CXL(Compute Express Link)Switch 是階梯外的第五種 switch:它做的不是「連得更遠」,而是讓 CPU / 加速器共享一池記憶體(memory pooling),把閒置的 DRAM 集中利用。矩陣裡 NVIDIA、Broadcom、Marvell 都做 CXL Switch,台廠三雄則還沒。
NVIDIA($NVDA)在 2026 年 3 月 GTC 一口氣發表 7 顆 Rubin 系列晶片 與 5 種 MGX 系列機櫃——機櫃還能再用交換器串成大型 Vera Rubin POD。這已經不是「賣 GPU」,而是把整條路:晶片 → 運算盤 → 機櫃 → POD,一手包辦。為了補齊自己不夠強的環節,它還直接把兩家新創「收編」了。
一台 AI 機器不是只有 GPU 在算。運算、主機、網卡、資料處理、交換、光學、推論,各有專責晶片——這 7 顆就是 NVIDIA 眼中一套完整系統的「器官」。
依功能分兩組:運算(GPU 算圖/CPU 主機/LPU 推論)與 網路・互連・I/O(SuperNIC 網卡/DPU 資料處理/Switch 交換/CPO 光學)。紅標那顆 Groq 3 LPU 是併購 Groq 後補進來的推論專用晶片。原圖還把這 7 顆對應到 6 種運算盤(tray)與一整條機櫃,是「晶片→整櫃」的縮影。(原圖 Source: NVIDIA)
MGX 是 NVIDIA 的模組化機櫃規格。5 種機櫃分兩家族:MGX NVL 用 NVLink 把 GPU 綁最緊;MGX ETL 走乙太網路、更彈性,最多可堆到 256 顆晶片。
每個機櫃頂端的色條=它的 spine(骨幹網路):indigo=NVLink(綁最緊、延遲最低)、teal=Spectrum-X 乙太網路、amber=Direct C2C 直連。MGX NVL 只用 NVLink;MGX ETL 走乙太或直連、更彈性,最多可堆 256 顆晶片。(原圖 Source: NVIDIA)
2025 年 12 月,NVIDIA 以約 US$20B(號稱「非獨家授權」)拿下推論晶片新創 Groq(美・未上市) 的技術與團隊,創辦人 Jonathan Ross 等領導層加入 NVIDIA。Groq 的招牌是 LPU(Language Processing Unit,語言處理器)——一種為推論最佳化、講究「確定性延遲」的架構。
結果就是 Rubin 陣容裡多了第 7 顆 Groq 3 LPU:NVIDIA 正式踏進「用專用晶片(就是 ASIC——為推論這一件事量身打造的晶片,相對 GPU 的『樣樣都能算』)而非 GPU 做推論」的地盤。而那個被消掉的潛在對手,就是 Groq 自己:它原本是獨立、專攻推論、想靠 LPU 從 NVIDIA GPU 手上搶單的挑戰者,收編後對手變隊友。
更早在 2025 年 9 月,NVIDIA 花 超過 US$900M 授權 Enfabrica(美・未上市) 的網路技術、並挖走 CEO Rochan Sankar 等人。Enfabrica 做的是記憶體互連交換 IC——讓大量 GPU 能高效共享記憶體與網路頻寬。
兩筆都不是傳統併購,而是 acqui-hire(收購式挖角)——不吃下整間公司、不背它的營收與負債,只授權關鍵技術 + 把核心團隊整組挖過來。好處是快、閃過反壟斷審查、又能拿到人才與 IP(Meta、Google、微軟搶 AI 人才時也常這樣做)。NVIDIA 另也投資量子運算與光通訊元件供應商。目的一致:把 POD 級效能推到極限,順便把互連、推論兩塊短板補齊。
先看單晶片。TrendForce 把 NVIDIA 的 R200(Rubin) 和四大 CSP 的自研推論晶片擺在一起比。R200 在算力與頻寬上一騎絕塵,但雲端業者不追「單顆最強」——他們要的是用夠好的晶片、堆出整櫃最低的成本。
| AI 晶片規格 | NVIDIAR200 · $NVDA | GoogleTPU v8i · $GOOGL | AWSTrainium3 · $AMZN | MetaMTIA 400 · $META | MicrosoftMaia 200 · $MSFT |
|---|---|---|---|---|---|
| 算力 (FP8 / Dense) | 17.5 PFLOPS | 10.1 PFLOPS(E) | 2.5 PFLOPS | 6 PFLOPS | 5 PFLOPS |
| HBM 容量 | 288 GB | 288 GB | 144 GB | 288 GB | 216 GB |
| HBM 頻寬 | 22 TB/s | 8.6 TB/s | 4.9 TB/s | 9.2 TB/s | 7 TB/s |
| TDP 功耗 | 2,300 W | 1,800 W(E) | 900 W(E) | 1,200 W | 750 W |
| 能效 (TFLOPS/W) | 7.6 | ~5.6(E) | 2.8(E) | 5 | 6.7 |
(E) = TrendForce 估計值。能效 = 算力 ÷ TDP(每瓦幾 TFLOPS),是整篇的關鍵指標;五欄皆與算力、功耗自洽。(Source: data compiled by TrendForce, 2026/7)
單看算力 NVIDIA 遙遙領先;但換算成「每瓦效能」,微軟 Maia 200(6.7)已咬到 NVIDIA R200(7.6)的 88%——這正是 CSP 自研的算盤:不比單晶片峰值,比每度電的產出。
把晶片組成機櫃,各家策略差很大。AWS 一櫃塞 144 顆小晶片,NVIDIA 只放 72 顆大晶片。「每櫃顆數」不是效能榜——它反映的是「用很多顆便宜小晶片」還是「用少數顆昂貴大晶片」的路線選擇,最終仍要回到整櫃的每瓦效能與每 TCO 效能。
同一代機櫃內,各家放的晶片數。數字大=走「多而小」,數字小=走「少而大」。
機櫃對照:NVIDIA VR200 NVL72(72×R200)· Google TPU v8 Rack(64×TPU v8)· AWS Trainium3 UltraServers(144×Trainium3)· Meta MTIA 400 Rack(72×MTIA 400)· Microsoft Maia 200 Rack(48×Maia 200)。(Source: data compiled by TrendForce, 2026/7)
CSP(雲端服務商)不只在自研晶片塞大 on-chip SRAM(晶片內建高速記憶體,減少對外部 HBM 的往返),更進一步自研整櫃與 POD——自己的互連、自己的 CPU、自己的網路。目的一致:把最貴的一環(NVIDIA 的系統稅)換成自家方案。
2017 就導入自研 scale-up 技術 ICI(Inter-Chip Interconnect,晶片間互連);2021 導入 OCS(Optical Circuit Switch,光路交換)——用光開關動態重連拓撲、還能繞過故障節點。2026 在 TPU v8 部署自研 Axion CPU(Arm 架構) 與新網路 Boardfly。
Boardfly 的重點是把網路「直徑」從 16 跳壓到 7 跳(延遲約降 56%),讓上千顆 TPU 之間任意兩顆都能低延遲對話。(Boardfly 數字經 web 查證)
在 2026 年 Trainium3 UltraServers 導入自研 scale-up 互連 NeuronLink,搭配自家 Arm 伺服器 CPU Graviton。UltraServer = 把多台伺服器用 NeuronLink 綁成「一台大機器」的整櫃方案。
路線上與 NVIDIA 最像:算力(Trainium)+ 互連(NeuronLink)+ 主機 CPU(Graviton)自己一手包,差別在「只自用、不外賣」。
Maia 200 POD 用 Ethernet scale-up 網路(不自造專用互連,直接把成熟的乙太網路拿來當機櫃骨幹)搭自研 Arm CPU Cobalt 200。
好處是生態成熟、供應鏈廣;賭的是「開放乙太網路的頻寬終究追得上專用互連」。上表也看到,Maia 200 的每瓦效能(6.7)在 CSP 裡最高。
Meta 選了完全不同的路:擁抱 OCP(Open Compute Project,開放運算計畫) 開放硬體標準,建一套標準化的資料中心硬體生態,把整體成本壓下來。
它的推論晶片是 MTIA(Meta Training and Inference Accelerator),與 Broadcom($AVGO)深度綁定開發。策略上:不追垂直整合的極致效能,追「開放 + 規模經濟」的低成本。
| 自研面向 | Google$GOOGL | AWS$AMZN | Microsoft$MSFT | Meta$META |
|---|---|---|---|---|
| Scale-up 互連 | ICI(2017 起) | NeuronLink | Ethernet scale-up | OCP 開放標準 |
| 自研 CPU | Axion(Arm) | Graviton(Arm) | Cobalt 200(Arm) | —(用通用 CPU) |
| 網路 / 光路 | OCS 光路 + Boardfly | 專用互連 | 押乙太網路 | 標準化壓成本 |
| 代表機櫃 / POD | TPU v8 Rack | Trainium3 UltraServers | Maia 200 POD | MTIA 400 Rack |
四家的共通點:互連、CPU、網路自己來,把 NVIDIA 的「系統稅」換成自家方案。差別在路線——Google 垂直自研最深、AWS 最像 NVIDIA、Microsoft 押開放乙太網路、Meta 乾脆走 OCP 開放標準壓成本。
CSP 自研整櫃,把訂單外包給 ASIC 設計服務商——這對他們是全新的增量市場,但門檻也升高了:客戶要的不再是「一顆晶片」,而是「一套能進機櫃的方案」。六家玩家分兩群:Broadcom / Marvell 產品線最完整(switch + NIC 樣樣有);聯發科 / GUC / Alchip 先靠 AI 晶片立信譽,再用 CPO 當擠進機櫃的敲門磚。
| 產品線 | NVIDIA$NVDA | Broadcom$AVGO | Marvell$MRVL | 聯發科2454 | GUC3443 | Alchip3661 |
|---|---|---|---|---|---|---|
| AI 晶片 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| CPU | ✓ | ✗ | ✓ | ✗ | ✓ | ✗ |
| NIC 網卡 | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| Scale-Up Switch | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| CXL Switch | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| Scale-Out Switch | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| Scale-Across Switch | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ |
| CPO 共同封裝光學 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| CPC 共同封裝銅 | ✗ | ✓ | ✓ | ✗ | ✗ | ✗ |
| AOC 主動式光纜 | ✓ | ✓ | ✓ | ✓ | ✗ | ✗ |
綠勾=有此產品線。整列全綠的只有「AI 晶片」與「CPO」(高亮那列)——這正是原文的關鍵洞察:CPO 是除了 AI 晶片外、六家全數投入的唯一技術軌,等於業界公認它是下一代機櫃效能的關鍵差異化。留意 NVIDIA 的 CPC = ✗(不做共同封裝銅,銅互連留給 Broadcom/Marvell)。(Source: data compiled by TrendForce, 2026/7;V/X 逐格與內文交叉核對)
CPO(Co-Packaged Optics,共同封裝光學) 把光引擎從機櫃前面板的可插拔光模組,直接搬進緊貼晶片的封裝裡。當 scale-up 頻寬需求暴衝、銅互連撞上「頻寬 × 距離」牆,CPO 是把訊號換成光、突破距離限制的關鍵。
對台廠三雄,CPO 是一張「用光學技術,繞過自己沒有的 switch / NIC 產品線」的側門——不必樣樣自造,靠 CPO 整合平台就能把 AI 晶片包成「能進機櫃」的方案。
全能型(Broadcom、Marvell):switch、NIC、CPO、CPC、AOC 幾乎全包,直接對打 NVIDIA 的網路產品線,是 CSP 自研整櫃時的首選夥伴。
聚焦型(聯發科、GUC、Alchip):目前只有 AI 晶片 + CPO(GUC 另有 CPU、聯發科另有 AOC)。策略是先把 AI 晶片設計做出口碑,再用 CPO 平台當「從晶片升級到機櫃」的跳板。
這篇是「賽局地圖」,不是選股名單。但把玩家分層,投資邏輯就清楚了:NVIDIA 走全棧、CSP 走自研壓成本、ASIC 服務商吃 CSP 外包 + 用 CPO 卡位。台廠三雄(聯發科、GUC、Alchip)的關鍵不在「單顆晶片贏 NVIDIA」,而在「有沒有搭上某個 CSP 的自研列車」。
| 玩家 | 代號 | 這場戰役裡的角色 |
|---|---|---|
| NVIDIA | $NVDA | 全棧霸主:7 晶片 + 5 MGX 機櫃 + POD,並購 Groq/Enfabrica 補推論與互連。要被挑戰的「系統稅」本尊。 |
| Broadcom | $AVGO | ASIC + 網路全能型。與 Meta MTIA 深度綁定;switch/NIC/CPO/CPC 產品線最完整,CSP 自研整櫃的首選夥伴。 |
| Marvell | $MRVL | 另一家全能型 ASIC + 網路商。參與 AWS Trainium 開發;同樣 switch/NIC/CPO/CPC 齊全。 |
| Alphabet / Google | $GOOGL | CSP 自研最早最深:ICI(2017)、OCS(2021)、TPU v8 + Axion + Boardfly。互連自主度最高。 |
| Amazon / AWS | $AMZN | Trainium3 UltraServers + NeuronLink + Graviton,路線最像 NVIDIA 的垂直整合。 |
| Microsoft | $MSFT | Maia 200 POD 押乙太網路 + Cobalt 200;自研晶片能效(6.7)在 CSP 裡最高。 |
| Meta | $META | 走 OCP 開放標準壓成本;MTIA 與 Broadcom 綁定。不拚垂直整合,拚規模經濟。 |
| 聯發科 MediaTek | 2454 | 台廠三雄。以 AI 晶片設計 + CPO + AOC 卡位;CPO 整合平台是切進機櫃的入場券。 |
| 創意電子 GUC | 3443 | 台廠三雄。三雄中唯一另有 CPU 產品線;與 Microsoft Maia 開發連結,搭上微軟自研列車。 |
| 世芯-KY Alchip | 3661 | 台廠三雄。與 AWS Trainium(偕 Marvell)開發連結;以 AI 晶片 + CPO 為主力。 |
| Groq | 美・未上市 | 推論 LPU 新創,2025/12 技術與團隊被 NVIDIA 收編(約 US$20B),化為 Groq 3 LPU。 |
| Enfabrica | 美・未上市 | 記憶體互連 switch IC,2025/9 技術授權給 NVIDIA(>US$900M)+ 挖走 CEO。 |
別把「聯發科/GUC/Alchip 能設計 AI 晶片」直接當成「贏 NVIDIA」。他們的營收引擎是接 CSP 的自研 ASIC 外包單:Alchip 連 AWS Trainium、GUC 連 Microsoft Maia、Broadcom 連 Meta MTIA、Marvell 也在 Trainium 陣營。綁上哪台自研列車、那台跑多快,比單晶片規格更決定他們的成長。(ASIC↔CSP 綁定關係經 web 查證,實際分工比重仍以各公司法說為準)
1. CPO 進度:六家全押 CPO,誰先量產、良率誰高,就決定誰真的擠進機櫃。
2. CSP 自研放量:TPU v8 / Trainium3 / Maia 200 / MTIA 的實際出貨,直接牽動對應的台廠 ASIC 營收。
3. NVIDIA 的反制:Groq/Enfabrica 收編後,推論與互連兩塊短板補得多快,決定 CSP 自研的天花板。
這篇的關鍵詞,一句話版。