我們真的沒有 GPU 計算能力了嗎，還是我們只是在 錯誤的地方尋找 錯誤類型的GPU？最近，GPU短缺的 消息隨處可見。生成式人工智能的爆炸式增長導致了 對以人工智能為中心的 GPU 的瘋狂搶購和漫長的等待時間。對于正在成長的提供大規(guī)模推理服務的人工智能公司來說，這種 GPU 的短缺并不是真正的問題。 選擇合適的 GPU 才是。
AI 推理可擴展性和“合適大小”的 GPU
當今的“GPU 短缺”實際上是由于 使用效率低下以及對不符合大規(guī)模 AI 應用程序需求的 GPU 支付過高的費用造成的。大型云計算公司和硬件制造商的營銷機器已經(jīng)成功地說服開發(fā)人員，他們 絕對需要最新、最強大的硬件 才能成為一家成功的 AI 公司。
A100 和 H100 非常適合訓練高級模型，它們無疑是速度最快、最先進的 GPU，理應受到廣泛關(guān)注。但這些 GPU 數(shù)量不足，而且即使有售，也需要預付款或簽訂現(xiàn)有合同。
最近有一篇文章，有兩點證實了這一點：
即使是 OpenAI 也無法獲得足夠的 GPU，這嚴重限制了其近期的發(fā)展路線圖。由于 GPU 短缺，OpenAI 無法部署其多模式模型。
盡管 Nvidia 試圖大幅提高產(chǎn)量，但最高端的 Nvidia GPU H100 仍將缺貨。
同時，GPU 基準測試數(shù)據(jù)表明，在許多用例中，您不需要最新、最強大的 GPU。消費級 GPU（RTX3090、A5000、RTX4090 等）不僅具有高可用性，而且 每美元可提供更多的推理，從而大大降低您的云成本。
在正確的階段選擇“合適大小”的 GPU 可以讓生成式 AI 公司走上盈利、可擴展的增長之路，降低云成本，并免受“GPU 短缺”的影響。
如何找到“合適尺寸”的 GPU？
在確定適合您應用程序的“合適大小” GPU 時，需要考慮幾個因素。第一步是評估應用程序在 AI 模型生命周期的每個階段的需求。這意味著要考慮數(shù)據(jù)預處理、訓練和推理等任務的不同計算、網(wǎng)絡和存儲要求。
訓練模型
在機器學習模型的訓練階段，通常需要大量的計算資源。這包括使用高性能圖形處理單元 (GPU)，其數(shù)量可能從數(shù)百到數(shù)千個不等。這些 GPU 需要通過專門設計的集群中的閃電般快速的網(wǎng)絡連接進行連接，以確保機器學習模型獲得有效訓練所需的資源。這些專門設計的集群針對機器學習的特定需求進行了優(yōu)化，能夠處理訓練階段所需的大量計算需求。
示例：訓練Stable Diffusion（大約成本：60 萬美元）
服務模型（推理）
在為您的模型提供服務時，可擴展性和吞吐量尤為重要。通過仔細考慮這些因素，您可以確保您的基礎(chǔ)設施能夠滿足不斷增長的用戶群的需求。這包括注意預算限制和架構(gòu)考慮。
值得注意的是，在許多例子中，用于 推理的 GPU 要求明顯低于用于訓練的 GPU 要求。盡管如此，許多人仍繼續(xù)使用相同的 GPU 執(zhí)行這兩項任務。這可能會導致效率低下，因為硬件可能未針對每項任務的獨特需求進行優(yōu)化。通過花時間仔細評估您的基礎(chǔ)設施需求并進行必要的調(diào)整，您可以確保您的系統(tǒng)盡可能高效、有效地運行。
示例 1：消費級 GPU 上每美元可獲得的圖像數(shù)量增加 6 倍
在最近的 Stable Diffusion 基準測試中，與專注于 AI 的 GPU 相比，消費級 GPU 每美元可生成 4 至 8 倍的圖像。大多數(shù)文本轉(zhuǎn)圖像領(lǐng)域的生成式 AI 公司都可以使用消費級 GPU 進行大規(guī)模推理。經(jīng)濟性和可用性使其成為此用例的贏家。
示例 2：提供Stable Diffusion XL
在最近推出 SDXL 的公告中，Stability.ai 指出 SDXL 0.9 可在僅具有 16GB RAM 和至少 8GB vRAM 的現(xiàn)代消費級 GPU 上運行。
大規(guī)模提供“合適規(guī)?！钡娜斯ぶ悄芡评?/strong>
在捷智算平臺，我們深知能夠在不花太多錢的情況下大規(guī)模提供 AI/ML 推理的重要性。因此，我們創(chuàng)建了一個全球分布的消費級 GPU 網(wǎng)絡，該網(wǎng)絡從頭開始設計，以滿足您的需求。我們的客戶發(fā)現(xiàn)，轉(zhuǎn)向捷智算平臺而不是依賴大型云計算提供商不僅可以節(jié)省 高達 90% 的云成本，還可以改善他們的產(chǎn)品供應并減少開發(fā)運營時間。
示例：24 小時內(nèi)生成 900 多萬張圖片，僅需 1872 美元
在最近為客戶進行的基準測試中，我們在 24 小時內(nèi)生成了 920 萬張穩(wěn)定擴散圖像，成本僅為 1872 美元 - 全部使用 Nvidia 的 3000/4000 系列 GPU。這意味著每美元可以生成約 5000 張圖像，從而為這家圖像生成公司節(jié)省了大量成本。
使用捷智算平臺，您無需擔心昂貴的基礎(chǔ)設施維護或意外停機。如果它在您的系統(tǒng)上有效，它也可以應用于捷智算平臺。相反，您可以專注于真正重要的事情 - 服務于不斷增長的用戶群，同時保持盈利。
要了解您的用例是否適合消費級 GPU， 請立即聯(lián)系我們的團隊。
