運用 AMD 的強大威力建立大型語言模型
在採用 AMD EPYC™ 處理器和 AMD Instinct™ 顯示卡的 LUMI 超級電腦上將 TurkuNLP 調整為 192 個節點，為芬蘭文建立一個大型語言模型。
即時網路研討會
AMD EPYC™ 技術正在改變企業 AI 的挑戰
瞭解 AMD EPYC™ 處理器和領先業界的顯示卡加速器的致勝組合如何提供應付最嚴苛之企業 AI 挑戰所需的能力。
AMD EPYC™ 處理器有助於將大型顯示卡投資的價值最大化
顯示卡加速器已經成為現代 AI 的主力，善於訓練大型、複雜的模型，並支援大規模的高效率即時推論。然而，將您顯示卡投資的潛力最大化需要強大的處理器合作夥伴。
為什麼要使用顯示卡來處理 AI 工作負載？
顯示卡是許多 AI 工作負載的正確工具。
- AI 訓練：顯示卡藉由平行處理能力，加速大型和中型模型的訓練。
- 專用 AI 部署：顯示卡提供大規模部署中即時推論所需的速度和擴充性
處理器的優勢：
結合顯示卡的強大威力與合適的處理器，可大幅提升特定工作負載的 AI 效率。尋找下列主要處理器功能：
- 高頻率與核心數量：快速又有效率地處理大量的資料準備和後處理任務。
- 大型快取記憶體大小：加快資料存取大量資料集的速度。
- 高記憶體頻寬與高效能 I/O：可在處理器和顯示卡之間快速流暢地交換資料。
- 節能核心：釋放顯示卡使用的電力，有助於降低整體能耗成本。
- 與顯示卡和軟體生態系統相容，可實現最佳效能、效率和流暢的操作。
AMD EPYC 處理器
您釋放龐大 AI 工作負載真正潛力的最佳選擇。它們能協助最大化顯示卡加速器效能和整體 AI 工作負載效率。 此外，AMD EPYC 進階安全性功能加上對開放標準的長期一致承諾，讓企業在 AI 旅程中安心部署下一階段。
應用與產業
由 AMD EPYC 處理器推動的顯示卡加速器式解決方案驅動全球許多最快的超級電腦和雲端執行個體，為企業提供經過實證的平台，可最佳化資料導向的工作負載，並在 AI 方面達到突破性的成果。
AMD EPYC 處理器：最大化大型顯示卡投資價值的正確選擇
處理器在協調和同步處理顯示卡之間的資料傳輸、處理內核啟動負擔，以及管理資料準備方面扮演著重要的角色。這項「導體」功能可確保顯示卡能以最高效率運作。
- 效能
- 高效率
- 久經考驗的生態系統
以高效能處理器最佳化顯示卡投資價值
有些工作負載會受惠於高處理器時脈速度，藉由簡化資料處理、傳輸和同時執行來提高顯示卡效率，進而增強顯示卡效能。
為了證明更高的處理器頻率可以提升 Llama2-7B 工作負載輸送量這項概念，我們在配備 8x NVIDIA H100 顯示卡1 的雙路伺服器中使用客製的 AMD EPYC 9554 處理器
Llama2-7B 微調
1.0 倍
1.12 倍
1.28 倍
Llama2-7B 訓練（1K 序列長度）
1.0 倍
1.16 倍
1.2 倍
Llama2-7B 訓練（2K 序列長度）
1.0 倍
1.1 倍
1.14 倍
高效率部署企業 AI
結合高效能、低耗電量、高效率資料處理，以及有效電源管理功能的處理器，讓您的 AI 基礎架構能以最高效能運作，同時最佳化能源消耗和成本。
AMD EPYC 處理器驅動全球最節能的伺服器，提供優異的效能，並協助降低能源成本。2 自信地部署，以建立節能解決方案並協助最佳化您的 AI 旅程。
AMD EPYC 9004 系列處理器中，AMD Infinity Power Management 提供優異的預設效能，並可針對特定工作負載的行為進行微調。
安心安全：以可信賴的解決方案導入 AI
選擇由 AMD EPYC 處理器託管，經過多項認證或驗證的顯示卡加速解決方案，可大幅提升您的 AI 工作負載。
較偏好 AMD Instinct 加速器驅動解決方案嗎？
使用其他顯示卡？歡迎洽詢領先平台解決方案供應商所提供的 AMD EPYC 處理器驅動解決方案，包括 Asus、Dell、Gigabyte、HPE、Lenovo 和 Supermicro。
AMD EPYC 處理器和顯示卡雲端 AI/ML 執行個體選項的生態系統正在成長
向 AWS、Azure、Google、IBM Cloud 和 OCI 等主要雲端供應商請求提供結合 AMD EPYC 處理器與 AI/ML 工作負載之顯示卡的執行個體。
資源
尾註
- SP5-292：根據截至 2024 年 6 月 15 日的 AMD 內部概念性驗證測試，Llama2-7B 的微調與訓練輸送量結果。
伺服器配置：雙路 EPYC 9554（客製頻率的處理器，64 核心/128 執行緒，16 使用中核心），1.5 TB 記憶體（以 4800 MT/s 執行的 24x 64GB DDR5-5600），3.2 TB SSD，Ubuntu® 22.04.4 LTS，搭配 8x NVIDIA H100 80GB HBM3，HuggingFace Transformers v 4.31.0，NVIDIA PyTorch 23.12，PEFT 0.4.0，Python 3.10.12，CUDA 12.3.2.001，TensorRT-LLM v 0.9.0.dev2024，CUDNN 8.9.7.29+cuda12.2，NVIDIA-SMI 驅動程式版本 550.54.15，TRT v8.6.1.6+cuda12.0.1.011，Transformer Engine v1.1
Llama2-7B 微調：每個裝置的 BS=4，seqln=128，平均執行時間超過 4 次，每次執行 10 個時期，FP16
Llama2-7B 訓練 (1K)：BS=56（7x8 顯示卡），seqln=1k，顯示卡上的梯度
Llama2-7B 訓練 (2K)：BS=24（3x8 顯示卡），seqln=2k，顯示卡上的梯度
成果：
處理器頻率 2000 MHz 2500 MHz 3000 MHz
微調平均訓練執行時間秒數 649.38 584.24 507.1
% 輸送量增加 0.00% 11.15% 28.06%
訓練輸送量 1K 序列長度 276.08 238.81 230.82
% 輸送量增加 0.00% 15.61% 19.61%
訓練輸送量 2K 序列長度 883.85 807.94 778.72
% 輸送量增加 0.00% 9.40% 13.50%
視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。備註：這項效能是概念性驗證。資料是在雙路客製 AMD EPYC™ 9554 上所收集，作為採用 8x Nvidia H100 80GB 加速器的託管處理器，具有不同頻率。第 4 代 EPYC 處理器不允許終端用戶調整頻率
- EPYC-028D：SPECpower_ssj® 2008、SPECrate®2017_int_energy_base 和 SPECrate®2017_fp_energy_base 基於截至 2024 年 2 月 21 日 SPEC 網站上公佈的結果。以 VMmark® 伺服器功耗-效能/伺服器和儲存功耗-效能 (PPKW) 為基礎的結果，公佈於以下網站：https://www.vmware.com/products/vmmark/results3x.1.html?sort=score。在排名前 105 位的 SPECpower_ssj®2008 出版品中，最高總效率 overall ssj_ops/W 結果都採用 AMD EPYC 處理器。對於 SPECrate®2017 Integer（能源庫），AMD EPYC 處理器為 SPECrate®2017_int_energy_base 效能/系統 W 分數的前 8 名提供動力。對於 SPECrate®2017 Floating Point（能源庫），AMD EPYC 處理器為 SPECrate®2017_fp_energy_base 效能/系統 W 分數的前 12 名提供動力。在 VMmark® 伺服器功耗-效能 (PPKW) 方面，前 5 名是與 2 插槽和 4 插槽伺服器配對的結果，優於所有與其他插槽配對的結果，並且在 VMmark® 伺服器和儲存功耗-效能 (PPKW) 方面的總得分最高。請參閱 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D 瞭解完整清單。有關 AMD 永續性目標的更多資訊，請參閱：https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html。有關 SPEC® 的更多資訊，請造訪 http://www.spec.org。SPEC、SPECrate 和 SPECpower 為 Standard Performance Evaluation Corporation 的註冊商標。VMmark 是 VMware 在美國和其他國家/地區的註冊商標。
尾註
- SP5-292：根據截至 2024 年 6 月 15 日的 AMD 內部概念性驗證測試，Llama2-7B 的微調與訓練輸送量結果。
伺服器配置：雙路 EPYC 9554（客製頻率的處理器，64 核心/128 執行緒，16 使用中核心），1.5 TB 記憶體（以 4800 MT/s 執行的 24x 64GB DDR5-5600），3.2 TB SSD，Ubuntu® 22.04.4 LTS，搭配 8x NVIDIA H100 80GB HBM3，HuggingFace Transformers v 4.31.0，NVIDIA PyTorch 23.12，PEFT 0.4.0，Python 3.10.12，CUDA 12.3.2.001，TensorRT-LLM v 0.9.0.dev2024，CUDNN 8.9.7.29+cuda12.2，NVIDIA-SMI 驅動程式版本 550.54.15，TRT v8.6.1.6+cuda12.0.1.011，Transformer Engine v1.1
Llama2-7B 微調：每個裝置的 BS=4，seqln=128，平均執行時間超過 4 次，每次執行 10 個時期，FP16
Llama2-7B 訓練 (1K)：BS=56（7x8 顯示卡），seqln=1k，顯示卡上的梯度
Llama2-7B 訓練 (2K)：BS=24（3x8 顯示卡），seqln=2k，顯示卡上的梯度
成果：
處理器頻率 2000 MHz 2500 MHz 3000 MHz
微調平均訓練執行時間秒數 649.38 584.24 507.1
% 輸送量增加 0.00% 11.15% 28.06%
訓練輸送量 1K 序列長度 276.08 238.81 230.82
% 輸送量增加 0.00% 15.61% 19.61%
訓練輸送量 2K 序列長度 883.85 807.94 778.72
% 輸送量增加 0.00% 9.40% 13.50%
視系統組態、軟體版本及 BIOS 設定等因素而定，結果可能有所不同。備註：這項效能是概念性驗證。資料是在雙路客製 AMD EPYC™ 9554 上所收集，作為採用 8x Nvidia H100 80GB 加速器的託管處理器，具有不同頻率。第 4 代 EPYC 處理器不允許終端用戶調整頻率
- EPYC-028D：SPECpower_ssj® 2008、SPECrate®2017_int_energy_base 和 SPECrate®2017_fp_energy_base 基於截至 2024 年 2 月 21 日 SPEC 網站上公佈的結果。以 VMmark® 伺服器功耗-效能/伺服器和儲存功耗-效能 (PPKW) 為基礎的結果，公佈於以下網站：https://www.vmware.com/products/vmmark/results3x.1.html?sort=score。在排名前 105 位的 SPECpower_ssj®2008 出版品中，最高總效率 overall ssj_ops/W 結果都採用 AMD EPYC 處理器。對於 SPECrate®2017 Integer（能源庫），AMD EPYC 處理器為 SPECrate®2017_int_energy_base 效能/系統 W 分數的前 8 名提供動力。對於 SPECrate®2017 Floating Point（能源庫），AMD EPYC 處理器為 SPECrate®2017_fp_energy_base 效能/系統 W 分數的前 12 名提供動力。在 VMmark® 伺服器功耗-效能 (PPKW) 方面，前 5 名是與 2 插槽和 4 插槽伺服器配對的結果，優於所有與其他插槽配對的結果，並且在 VMmark® 伺服器和儲存功耗-效能 (PPKW) 方面的總得分最高。請參閱 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D 瞭解完整清單。有關 AMD 永續性目標的更多資訊，請參閱：https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html。有關 SPEC® 的更多資訊，請造訪 http://www.spec.org。SPEC、SPECrate 和 SPECpower 為 Standard Performance Evaluation Corporation 的註冊商標。VMmark 是 VMware 在美國和其他國家/地區的註冊商標。