AI 技術帶來廣泛的產業影響
AI 正以深遠的方式徹底改變工作負載與產業，並改善效率、創新和競爭力。從製造業與汽車業的自動化程序，到遏止金融詐騙與加速醫學研究，企業都可運用 AI 技術的強大功能，來開拓全新商機、最佳化營運，並以過去所想像不到的方式為客戶提供價值。
AMD 驅動全種類的資料中心工作負載
AI 轉型是否也讓您的企業一時難以招架？瞭解 AMD 產品組合如何支援所有 AI 工作負載，就能釐清您的應用需求。瞭解 AI 工作負載在企業資料中心的部署與維護方式，則有助於釐清基礎架構需求。
一般用途
AI 推論
AI 訓練
推動理想的 AI 解決方案
釋出空間與電力以將 AI 功能納入資料中心
許多資料中心在空間或電力或是在這兩者，已經是以整個容量或接近整個容量在運作。1 採用 AMD EPYC 處理器的伺服器可提供達成實質工作負載整合的領先效能與效率，讓您現有資料中心有更多空間與電力可支援新 AI 工作負載。
將 100 部採用舊式雙路 Intel® Xeon® Platinum 8280 處理器的伺服器更換為 14 部全新的 AMD EPYC™ 9965 處理器伺服器2
*為了提供總計約 39,000 單位的整數效能。
伺服器數量減少高達 86%
用電量減少高達 69%
3 年 TCO 減少高達 65%
與搭載 Intel® Xeon® Platinum 8592+ 處理器的伺服器相比，搭載 AMD EPYC™ 9965 處理器的伺服器有助於降低成本和 TCO2
*為了提供總計約 39,000 單位的整數效能。
伺服器數量減少高達 60%
使用電量減少高達 40%
3 年 TCO 減少高達 41%
領先的推論效能
AMD EPYC 處理器伺服器是理想的處理器型 AI 平台，可在各種模型和使用案例中進行推論。AMD EPYC 處理器可提供高度的彈性，支援從即時推論到批量或離線推論等各種需求。
192 核心 AMD EPYC™ 9965 處理器提供的推論輸送量是頂尖 64 核心 Intel Xeon 8592+ 處理器的 3 倍（雙路伺服器以 FP32 的精度執行常用梯度提升模型 XGBoost (Higgs Data Set) 的平均每小時執行量）。3
適合顯示卡的主控處理器
若要執行更大量和要求更高的 AI 工作負載，顯示卡便是正確選擇。為顯示卡提供服務以實現最大輸送量，正是主控處理器的職責。若要充分利用這些寶貴的顯示卡，就必須選擇合適的主控平台。採用 AMD EPYC 處理器的伺服器具有效能、擴充性、相容性和能效，可勝任先進顯示卡 AI 引擎的主控工作。瞭解哪些處理器功能對於主控顯示卡非常重要。
為了加速 AI 工作負載，您有數百種經認證、採用 AMD EPYC 處理器的顯示卡加速系統可以選擇。檢視 AMD Instinct™ 顯示卡加速解決方案。
歡迎洽詢領先平台解決方案供應商所提供的其他經認證或經驗證的顯示卡加速解決方案，包括 Asus、Dell、Gigabyte、HPE、Lenovo 和 Supermicro。
客戶見證
資源
對支援 AI 的基礎架構採取務實的做法
調查 AI 基礎架構策略，將重點放在提出精簡而切合需求的資料中心現代化解決方案，以及最佳化處理器和顯示卡的使用方式，以配合不同規模和複雜度的工作。
訂閱 AMD 的資料中心深入見解
要求與 AMD EPYC 銷售專家聯絡
尾註
- 根據 AMD 內部資料的分析
- 9xx5TCO-001B：這個方案包含許多假設和估算，儘管其以 AMD 內部研究和最佳近似值為基礎，但應視為僅供參考的示例，不得未經實際測試並以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO（整體持有成本）預估工具 - 第 1.12 版，比較搭載特定 AMD EPYC™ 處理器的伺服器解決方案，與搭載 Intel® Xeon® 處理器的伺服器解決方案，若以總效能 39100 單位 SPECrate2017_int_base 為目標，各可節省多少成本及產生多少環境衝擊，資料截至 2024 年 10 月 10 日為止。此情境比較了搭載舊式雙路 Intel Xeon 28 核心 Platinum_8280 的伺服器，其分數為 391，以及搭載雙路 EPYC 9965 (192C) 的伺服器，其分數為 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)；此外，還比較升級至雙路 Intel Xeon Platinum 8592+ (64C) 的伺服器，其分數為 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)。雙路 EPYC 9965 的實際 SPECrate®2017_int_base 分數會隨 OEM 發佈資料而異。使用「2024 年國際國家/地區特定電力係數 10 –2024 年 7 月」中的國家/地區特定電力係數和美國環保署「溫室氣體當量計算器」，利用該資料進行環境影響評估。
- 9xx5-040A：XGBoost（每小時的執行量）輸送量結果係依據截至 2024 年 9 月 5 日的 AMD 內部測試結果。XGBoost 組態：v2.2.1，Higgs Data Set，32 核心實例，FP32 雙路 AMD EPYC 9965（總計 384 核心），12 個 32 核心實體， 1.5TB 24x64GB DDR5-6400 (6000 MT/s)，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT1000C，(SMT=off, Determinism=Power, Turbo Boost=Enabled)，NPS=1，雙路 AMD EPYC 9755（總計 256 核心），1.5TB 24x64GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)，NPS=1，雙路 AMD EPYC 9654（總計 192 核心），1.5TB 24x64GB DDR5-4800, 1DPC，2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192)，BIOS TTI100BA (SMT=off, Determinism=Power)，NPS=1，與雙路 Xeon Platinum 8592+ （總計 128 核心）相比，AMX On，1TB 16x64GB DDR5-5600，1DPC，1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB KIOXIA KCMYXRUG3T84 NVMe®，Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192)，BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) 結果：處理器 執行 1 執行 2 執行 3 中位數 相對輸送量 世代比較 雙路 Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 雙路 Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 雙路 Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 雙路 EMR 64C 517.986 421.053 553.846 517.986 1 NA。結果可能會因系統組態、軟體版本及 BIOS 設定等因素而有不同。
尾註
- 根據 AMD 內部資料的分析
- 9xx5TCO-001B：這個方案包含許多假設和估算，儘管其以 AMD 內部研究和最佳近似值為基礎，但應視為僅供參考的示例，不得未經實際測試並以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO（整體持有成本）預估工具 - 第 1.12 版，比較搭載特定 AMD EPYC™ 處理器的伺服器解決方案，與搭載 Intel® Xeon® 處理器的伺服器解決方案，若以總效能 39100 單位 SPECrate2017_int_base 為目標，各可節省多少成本及產生多少環境衝擊，資料截至 2024 年 10 月 10 日為止。此情境比較了搭載舊式雙路 Intel Xeon 28 核心 Platinum_8280 的伺服器，其分數為 391，以及搭載雙路 EPYC 9965 (192C) 的伺服器，其分數為 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)；此外，還比較升級至雙路 Intel Xeon Platinum 8592+ (64C) 的伺服器，其分數為 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)。雙路 EPYC 9965 的實際 SPECrate®2017_int_base 分數會隨 OEM 發佈資料而異。使用「2024 年國際國家/地區特定電力係數 10 –2024 年 7 月」中的國家/地區特定電力係數和美國環保署「溫室氣體當量計算器」，利用該資料進行環境影響評估。
- 9xx5-040A：XGBoost（每小時的執行量）輸送量結果係依據截至 2024 年 9 月 5 日的 AMD 內部測試結果。XGBoost 組態：v2.2.1，Higgs Data Set，32 核心實例，FP32 雙路 AMD EPYC 9965（總計 384 核心），12 個 32 核心實體， 1.5TB 24x64GB DDR5-6400 (6000 MT/s)，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT1000C，(SMT=off, Determinism=Power, Turbo Boost=Enabled)，NPS=1，雙路 AMD EPYC 9755（總計 256 核心），1.5TB 24x64GB DDR5-6400 (6000 MT/s)，1DPC，1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192)，BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)，NPS=1，雙路 AMD EPYC 9654（總計 192 核心），1.5TB 24x64GB DDR5-4800, 1DPC，2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192)，BIOS TTI100BA (SMT=off, Determinism=Power)，NPS=1，與雙路 Xeon Platinum 8592+ （總計 128 核心）相比，AMX On，1TB 16x64GB DDR5-5600，1DPC，1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe，3.84 TB KIOXIA KCMYXRUG3T84 NVMe®，Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192)，BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) 結果：處理器 執行 1 執行 2 執行 3 中位數 相對輸送量 世代比較 雙路 Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 雙路 Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 雙路 Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 雙路 EMR 64C 517.986 421.053 553.846 517.986 1 NA。結果可能會因系統組態、軟體版本及 BIOS 設定等因素而有不同。