[AIML] 計算與通訊架構的演進 (1): 北橋-RDMA-NVLink

在這個 AI 的年代, 我們常常討論計算算力, 不論是 CPU 或 GPU,
又或者是 NPU/TPU 等各式的算力實體, 都隨著 AI 的發展水漲船高,
甚至, 用來進行儲存的記憶體, 也成了稀缺財.
這些計算與儲存的單元, 在這 AI 發展的世代, 效能不斷的演進,
也推動了背後的通訊變革, 尤其在資料中心的應用架構,
由 Nvidia 生態系主推的 NeoCloud 正改變原有的計算框架.

在說明這些以前, 我們先從我們熟悉的 PC (Personal Computer) 開始考古.
我們以 1998 年的 Intel 440BX 為例.
Pentium II 的前端匯流排 (FSB) 接到北橋 82443BX, 
北橋負責高速裝置, 內有記憶體控制器, 一側連到 SDRAM, 另一側提供顯示卡專用的 AGP.
往下則是多個裝置共用的 PCI 匯流排, 
南橋 PIIX4E 掛在這條 PCI 上, 負責 IDE (硬碟)、USB 等周邊.
PCI 網卡也可以直接接在 PCI 上, 網卡資料可以不透過南橋往主記憶體走, 
和從 IDE 硬碟出發的資料, 第一段路並不相同.


在這個架構中, 我們可以看到三種資料接取的分層:
北橋最直接 (主記憶體, 顯示卡), 接著是 PCI 匯流排, 最後才是南橋晶片對接的其他裝置.

假設驅動程式設定好目的緩衝區, 讓 IDE 控制器執行 DMA (直接記憶體存取).
硬碟送出的資料經南橋、PCI 和北橋, 最後寫入 SDRAM. 
接著, CPU 先下達指令, 由 IDE 控制器執行 DMA, 傳輸完成後, 再取用緩衝區裡的資料.
這樣的計算架構是所謂: 以 CPU 為中心, 在這裡指的是系統圍繞主機程式與主記憶體組織.
畫出這條路徑, 就會發現 CPU 核心早已能把逐筆搬運的工作交給控制器.
後來 Intel 把記憶體控制器與主要的顯示卡 PCIe 介面整合進處理器, 漸漸取代北橋功能,
原先從 CPU 到記憶體必經的一站, 也就從主機板上消失.

然而, 當 AI 與圖形運算需求上升, 
尤其在 AI 模型訓練時, 主要的計算都發生在 GPU 內,
CPU 的角色反而淪為幫 GPU 從記憶體中搬資料的幫手.
考慮到大規模的訓練, 當模型分散到多台主機上的 GPU 訓練, 
在資料平行訓練的框架下, 此時這些 GPU 需要頻繁交換反向傳播算出的梯度,
按照傳統的 CPU 中心計算架構, 資料就必須兩端各經過一次主機記憶體暫存,
從 GPU 到主記憶體 DRAM, 再從主記憶體搬到網卡進行跨節點傳輸,
接收端也先寫入主機 DRAM, 再複製到 GPU, 如下圖上方所示.
這樣的通訊架構缺乏效率, 也拖慢整體網路訓練的進行.


因此, CUDA 5.0 引入 GPUDirect RDMA.
RDMA (Remote Direct Memory Access) 原本就允許網卡直接存取已註冊的緩衝區.
GPUDirect RDMA 把 GPU 記憶體也納入這條路徑,
在支援 PCIe 點對點存取的拓撲上, A 端網卡可以直接讀 GPU 記憶體,
經 InfiniBand 或支援 RoCE 的乙太網路送出, 再由 B 端網卡直接寫進 GPU B.
主機上的驅動與通訊軟體仍須建立連線、註冊緩衝區, 並協調何時可以使用收到的資料.
省下的是兩端的主機暫存, 以及它們占用的記憶體頻寬.

同一台主機內則有另一條演進路線. 
2016 年的 Tesla P100 在 SXM2 版本上採用 NVLink, 讓相連的 GPU 直接交換資料.
到了 DGX H100, 八顆 GPU 透過 NVLink 接上 NVSwitch*, 任何一對 GPU 都能經交換晶片互通.
NVLink 把需要密切合作的 GPU 放在高速互連的同一範圍內,
走出這個範圍, 再透過網卡把更多節點接入叢集, 形成更大的 GPU 計算叢集.

*註: 華為的計算服務受限於光刻機的限制, 在單一節點上效能遠輸 Nvidia 的算力,
對此, 華為想到的方法也是透過類似 NVSwitch 的方式, 進行計算叢集整合,
舉例來說, CloudMatrix384 透過 Unified Bus 連接 384 顆昇騰 910C NPU,
讓任兩顆 NPU 都能經由互連網路交換資料.

以上的修改, 可以視為 Nvidia 針對 CPU 為中心計算的修補,
透過 GPUDirect RDMA 改善跨節點的通訊, 透過 NVLink 和 NVSwitch 直接連結 GPU 間的通訊.
然而, 這些工作還是繞不開 CPU 對記憶體的管理,
這些工作的背後邏輯還是: CPU 建立一張索引表, GPU 要依照這張表取資料.

NVIDIA 在 2022 年公布的 Grace Hopper 架構, 
讓 Grace CPU 和 Hopper GPU 經 NVLink-C2C 連接.
兩者共用虛擬位址空間, 硬體維持快取一致性.
程式完成必要的同步後, GPU 可以透過指標讀取位於 Grace 端的索引表,
CPU 也能存取位於 GPU 端的資料.


上圖說明了共享的實際範圍, 
LPDDR5X 接在 Grace 側, HBM (高頻寬記憶體) 接在 Hopper 側, 
NVLink-C2C 則可以提供雙向合計峰值 900 GB/s 的頻寬.
如果 GPU 偶爾查一次 CPU 建好的索引, 直接存取可以省去整張表的複製.
如果某個權重矩陣在每一步訓練中都會被反覆讀取, 
把它放在 GPU 本地 HBM, 便能減少 C2C 流量.

就此來看, RDMA 是在原本 CPU 為中心的框架下解決的是跨節點主機記憶體暫存問題,
Grace Hopper 的一致性則讓同一個 Superchip 內的兩種處理器能以一般記憶體讀寫合作.
此時, 計算的中心就算不是 GPU, 也是 GPU-CPU 共同協作了.

從 PC 的南北橋一路看到 Grace Hopper, 我們可以用一個問題理解互連架構的變化:
從原本 PC 的角度出發, 以 CPU 為核心的同心圓通訊框架,
接著, 是針對平行運算以 GPUDirect RDMA 可以省去兩端的主記憶體暫存的修改,
最後, 則是 Grace-Hopper 的 CPU-GPU 雙重中心的記憶體共享機制.
這樣的互連架構的變化演進, 不只是計算機內通訊架構的改變,
也說明了在當前 AI 浪潮下, 計算算力重心的變化.

留言

熱門文章

LTE筆記: RSRP, RSSI and RSRQ

[WiFi] WiFi 網路的識別: BSS, ESS, SSID, ESSID, BSSID

LTE筆記: 波束成型 (beamforming) 和天線陣列