隨著構建生成式 AI 變得越來越主流，有兩種 NVIDIA GPU 型號已成為每個 AI 構建者基礎設施愿望清單的首選——H100 和 A100。H100 于 2022 年發布，是目前市場上功能最強大的顯卡。A100 可能較舊，但仍然很熟悉、可靠且功能強大，足以處理要求苛刻的 AI 工作負載。
關于單個 GPU 規格的信息很多，但我們不斷聽到客戶說他們仍然不確定哪種 GPU 最適合他們的工作量和預算。H100 表面上看起來更貴，但它們能通過更快地執行任務來節省更多錢嗎？
A100 和 H100 具有相同的內存大小，那么它們最大的區別在哪里？通過這篇文章，我們希望幫助您了解當前用于 ML 訓練和推理的主要 GPU（H100 與 A100）之間需要注意的主要區別。
技術概述
表 1 - NVIDIA A100 與 H100 的技術規格
據 NVIDIA 介紹，H100 的推理性能最高可提高 30 倍，訓練性能最高可提高 9 倍。這得益于更高的 GPU 內存帶寬、升級的 NVLink（帶寬高達 900 GB/s）和更高的計算性能，H100 的每秒浮點運算次數 (FLOPS) 比 A100 高出 3 倍以上。
Tensor Cores：與 A100 相比，H100 上的新型第四代 Tensor Cores 芯片間速度最高可提高 6 倍，包括每個流多處理器 (SM) 加速（2 倍矩陣乘法-累積）、額外的 SM 數量和更高的 H100 時鐘頻率。值得一提的是，H100 Tensor Cores 支持 8 位浮動 FP8 輸入，可大幅提高該精度的速度。
內存： H100 SXM 具有 HBM3 內存，與 A100 相比，帶寬增加了近 2 倍。H100 SXM5 GPU 是世界上第一款具有 HBM3 內存的 GPU，可提供 3+ TB/秒的內存帶寬。A100 和 H100 都具有高達 80GB 的 GPU 內存。
NVLink： H100 SXM 中的第四代 NVIDIA NVLink 比上一代 NVLink 的帶寬增加了 50%，多 GPU IO 的總帶寬為 900 GB/秒，運行帶寬是 PCIe Gen 5 的 7 倍。
性能基準
在 H100 發布時，NVIDIA 聲稱 H100 可以“與上一代 A100 相比，在大型語言模型上提供高達 9 倍的 AI 訓練速度和高達 30 倍的 AI 推理速度”。根據他們自己發布的數據和測試，情況確實如此。然而，測試模型的選擇和測試參數（即大小和批次）對 H100 更有利，因此我們需要謹慎對待這些數據。
NVIDIA基準測試 - NVIDIA H100 與 A100
其他來源也進行了基準測試，結果表明 H100 的訓練速度比 A100 快 3 倍左右。例如，MosaicML 在語言模型上進行了一系列具有不同參數數量的測試，發現以下情況：
MosaicML基準測試 - NVIDIA H100 與 A100
LambaLabs 嘗試使用 FlashAttention2 訓練大型語言模型（具有 175B 個參數的類 GPT3 模型）對兩種 GPU 進行基準測試時，獲得的改進較少。在這種情況下，H100 的性能比 A100 高出約 2.1 倍。
175B LLM 上的 FlashAttention2 培訓
雖然這些基準測試提供了有價值的性能數據，但這并不是唯一的考慮因素。將 GPU 與手頭的特定 AI 任務相匹配至關重要。此外，還必須將總體成本納入決策之中，以確保所選 GPU 能夠為其預期用途提供最佳價值和效率。
成本和性能考慮
性能基準測試顯示 H100 領先，但從財務角度來看這合理嗎？畢竟，在大多數云提供商中，H100 通常比 A100 更貴。
為了更好地了解 H100 是否值得增加成本，我們可以使用 MosaicML 的工作，該工作估算了在 134B 個 token 上訓練 7B 參數 LLM 所需的時間
175B LLM 上的 FlashAttention2 培訓
如果我們考慮捷智算平臺對這些 GPU 的定價，我們可以看到在一組 H100 上訓練這樣的模型可以節省高達 39% 的成本，并且訓練時間可以減少 64%。當然，這種比較主要與 FP8 精度的 LLM 訓練有關，可能不適用于其他深度學習或 HPC 用例。
展望 GH200
2024 年，我們將看到 NVIDIA H200 的廣泛可用性，它擁有更大的內存和更高的帶寬（高達 4.8 TB/s），據說推理能力比 H100 提高了 1.6 倍到 1.9 倍。未來，我們將對這款產品和 L40（看起來更適合 ML 生命周期的推理部分）進行未來分析。敬請期待！
開始使用捷智算平臺
進入捷智算平臺官網，即可訪問并按需租賃 H100、A100 和更多 GPU。或者，聯系我們，我們可以幫助您設置滿足您所有需求的私有 GPU 集群。
