全新推出第 5 代 AMD EPYC 處理器

專為加速資料中心、雲端和 AI 工作負載而打造;AMD EPYC 9005 系列處理器正在推動前所未有的企業運算效能。   

領先業界的 AI 處理器1

AMD EPYC™ 9005 處理器提供端對端 AI 效能。  

最大化每台伺服器的效能

AMD EPYC™ 9005 能達到與傳統硬體相同的整數效能,同時最多減少機架數量 86%2,大幅降低實體佔用空間、耗電量,以及所需的軟體授權數量,釋放更多空間給全新或擴大的 AI 工作負載。

領先的 AI 推論效能

許多 AI 工作負載,像是 130 億個參數以下的語言模型、影像與詐騙分析,或推薦系統,皆能在搭載 AMD EPYC™ 9005 處理器的純處理器伺服器上高效執行。相較於前一代產品,搭載兩個第 5 代 AMD EPYC 9965 處理器的伺服器可提供高達 2 倍的推論輸送量。3

顯示卡加速最大化

AMD EPYC™ 9005 系列包括最適合作為仰賴顯示卡技術之系統的主控處理器產品選項,有助於提高特定 AI 工作負載的效能,並改善每個顯示卡伺服器的投資報酬率。例如,在執行 Llama3.1-70B 方面,搭載高頻率 AMD EPYC 9575F 處理器與 8 個顯示卡的伺服器,與主控處理器為 Intel Xeon 8592+ 並搭載 8 個相同顯示卡的伺服器相比,其系統效能最多高出 20%。4

瞭解第 5 代 AMD EPYC 處理器如何協助提升整個資料中心的 AI 效率和效能。從在您的資料中心創造空間和量能,到直接在處理器上進行推論,再到提高顯示卡上的效能,AMD EPYC 處理器將企業 AI 提升到全新高度

企業效能最佳化

AMD EPYC 9005 處理器提供卓越的效能,同時帶來領先業界的能效與整體持有成本 (TCO) 價值,支援關鍵業務需求。

領先業界的整數效能

採用 AMD EPYC 9005 處理器的伺服器利用全新的 “Zen 5” 核心,提供令人驚豔的主流效能指標表現,包括可達到頂尖競爭產品 2.7 倍的整數效能。5

專為雲端打造

AMD EPYC™ 9005 處理器可提供適合雲端工作負載的密度與效能。192 核心的頂級 AMD EPYC 9965 處理器可支援的虛擬處理器數量 (vCPU) 比頂尖的 Intel® Xeon 6E “Sierra Forest” 144 核心處理器多出 33%(每 vCPU 1 核心)。

領先業界的效率與 TCO

如今資料中心的耗電量前所未有地高。AMD EPYC™ 9005 處理器持續提供歷代 AMD EPYC 所具有的能效與 TCO 優勢。 

領先業界的效能、密度和效率

AMD EPYC 9005 系列處理器包含多達 192 個 “Zen 5” 或 “Zen 5c” 核心,具有優異的記憶體頻寬和容量。  創新 AMD 小晶片架構,可實現高效且節能的解決方案,最適合滿足您各種運算需求。

“Zen 5”

AMD Zen 5 chip

“Zen 5c”

AMD Zen 5c chip

廣泛的生態系統支援,深受業界領導者信賴

AMD 以 AMD EPYC™ 9005 處理器與多家解決方案供應商合作。全球各地皆有公司和政府組織選擇 AMD 來處理他們最重要的工作負載。

資源

尾註
  1. 9xx5-012:TPCxAI @SF30 多實體 32 核心實體大小輸送量結果是根據 AMD 執行多個 VM 實體的內部測試,資料截至 2024 年 9 月 5 日為止。彙總端對端 AI 輸送量測試是從 TPCx-AI 基準測試衍生而來,因此無法與已發佈的 TPCx-AI 結果相比,因為端對端 AI 輸送量測試結果不符合 TPCx-AI 規格。
    雙路 AMD EPYC 9965(總計 384 核心),12 個 32 核心實體,NPS1,1.5 TB 24x64 GB DDR5-6400 (6000 MT/s),1DPC,1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe,3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®,Ubuntu® 22.04.4 LTS,6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192),BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled)
    雙路 AMD EPYC 9755(總計 256 核心),8 個 32 核心實體,NPS1,1.5 TB 24x64 GB DDR5-6400 (6000 MT/s),1DPC,1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe,3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®,Ubuntu 22.04.4 LTS,6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192),BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled)
    雙路 AMD EPYC 9654(總計 192 核心)6 個 32 核心實體,NPS1,1.5 TB 24x64GB DDR5-4800,1DPC,2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe,Ubuntu 22.04.3 LTS,BIOS 1006C (SMT=off, Determinism=Power)
    比較雙路 Xeon Platinum 8592+(總計 128 核心),4 個 32 核心實體,AMX 開啟,1 TB 16x64 GB DDR5-5600,1DPC,1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe,3.84 TB KIOXIA KCMYXRUG3T84 NVMe,Ubuntu 22.04.4 LTS,6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192),BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled)
    成果:
    處理器 中位數 相對比例 世代比較
    Turin 192 核心,12 Inst 6067.531 3.775 2.278
    Turin 128 核心,8 Inst 4091.85 2.546 1.536
    Genoa 96 核心,6 Inst 2663.14 1.657 1
    EMR 64 核心,4 Inst 1607.417 1 NA
    視系統組態、軟體版本及 BIOS 設定等因素而定,結果可能有所不同。TPC、TPC Benchmark 和 TPC-C 是 Transaction Processing Performance Council 的商標。
  2. 9xx5TCO-001B:這個方案包含許多假設和估算,儘管其以 AMD 內部研究和最佳近似值為基礎,但應視為僅供參考的示例,不得未經實際測試並以其作為決策依據。AMD 伺服器與溫室氣體排放 TCO(整體持有成本)預估工具 - 第 1.12 版,比較搭載特定 AMD EPYC™ 處理器的伺服器解決方案,與搭載 Intel® Xeon® 處理器的伺服器解決方案,若以總效能 39100 單位 SPECrate2017_int_base 為目標,各可節省多少成本及產生多少環境衝擊,資料截至 2024 年 10 月 10 日為止。此情境比較了搭載舊式雙路 Intel Xeon 28 核心 Platinum_8280 的伺服器,其分數為 391,以及搭載雙路 EPYC 9965 (192C) 的伺服器,其分數為 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf);此外,還比較升級至雙路 Intel Xeon Platinum 8592+ (64C) 的伺服器,其分數為 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)。雙路 EPYC 9965 的實際 SPECrate®2017_int_base 分數會隨 OEM 發佈資料而異。使用「2024 年國際國家/地區特定電力係數 10 –2024 年 7 月」中的國家/地區特定電力係數和美國環保署「溫室氣體當量計算器」,利用該資料進行環境影響評估。
  3. 9xx5-040A:XGBoost(每小時的執行量)輸送量結果係依據截至 2024 年 9 月 5 日的 AMD 內部測試結果。XGBoost 組態:v2.2.1,Higgs Data Set,32 核心實例,FP32 雙路 AMD EPYC 9965(總計 384 核心),12 個 32 核心實體, 1.5TB 24x64GB DDR5-6400 (6000 MT/s),1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe,3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®,Ubuntu® 22.04.4 LTS,6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192),BIOS RVOT1000C,(SMT=off, Determinism=Power, Turbo Boost=Enabled),NPS=1,雙路 AMD EPYC 9755(總計 256 核心),1.5TB 24x64GB DDR5-6400 (6000 MT/s),1DPC,1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe,3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®,Ubuntu 22.04.4 LTS,6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192),BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled),NPS=1,雙路 AMD EPYC 9654(總計 192 核心),1.5TB 24x64GB DDR5-4800, 1DPC,2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®,Ubuntu® 22.04.4 LTS,6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192),BIOS TTI100BA (SMT=off, Determinism=Power),NPS=1,與雙路 Xeon Platinum 8592+ (總計 128 核心)相比,AMX On,1TB 16x64GB DDR5-5600,1DPC,1.0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe,3.84 TB KIOXIA KCMYXRUG3T84 NVMe®,Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192),BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) 結果:處理器 執行 1 執行 2 執行 3 中位數 相對輸送量 世代比較 雙路 Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 雙路 Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 雙路 Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 雙路 EMR 64C 517.986 421.053 553.846 517.986 1 NA。結果可能會因系統組態、軟體版本及 BIOS 設定等因素而有不同。
  4. 9xx5-014:  Llama3.1-70B 推論輸送量結果係依據截至 2024 年 9 月 1 日的 AMD 內部測試結果。
    Llama3.1-70B 組態:TensorRT-LLM 0.9.0,nvidia/cuda 12.5.0-devel-ubuntu22.04,FP8,輸入/輸出字符組態(使用案例):[BS=1024 I/O=128/128, BS=1024 I/O=128/2048, BS=96 I/O=2048/128, BS=64 I/O=2048/2048]。結果的單位為字符數/秒。
    雙路 AMD EPYC 9575F(總計 128 核心)與 8x NVIDIA H100 80 GB HBM3,1.5 TB 24x64 GB DDR5-6000,1.0 Gbps 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®,BIOS T20240805173113 (Determinism=Power,SR-IOV=On),Ubuntu 22.04.3 LTS,kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
    雙路 Intel Xeon Platinum 8592+(總計 128 核心)與 8x NVIDIA H100 80 GB HBM3,1 TB 16x64 GB DDR5-5600,3.2 TB Dell Ent NVMe® PM1735a MU,Ubuntu 22.04.3 LTS,kernel-5.15.0-118-generic,(processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance),BIOS 2.1, (Maximum performance, SR-IOV=On),
    I/O 字符數 批次大小 EMR Turin 相對比例
    128/128 1024 814.678 1101.966 1.353
    128/2048 1024 2120.664 2331.776 1.1
    2048/128 96 114.954 146.187 1.272
    2048/2048 64 333.325 354.208 1.063
    對於平均輸送量增加 1.197 倍。
    視系統組態、軟體版本及 BIOS 設定等因素而定,結果可能有所不同。
  5. 9xx5-002D:SPECrate®2017_int_base 比較是基於截至 2024 年 10 月 10 日 www.spec.org 上所公佈的分數。雙路 AMD EPYC 9965(3000 SPECrate®2017_int_base,共 384 個核心,500W TDP,$14,813 CPU $),6.060 SPECrate®2017_int_base/CPU W,0.205 SPECrate®2017_int_base/CPU $,https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html)雙路 AMD EPYC 9755(2720 SPECrate®2017_int_base,共 256 個核心,500W TDP,$12,984 CPU $),5.440 SPECrate®2017_int_base/CPU W,0.209 SPECrate®2017_int_base/CPU $,https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html)雙路 AMD EPYC 9754(1950 SPECrate®2017_int_base,共 256 個核心,360W TDP,$11,900 CPU $),5.417 SPECrate®2017_int_base/CPU W,0.164 SPECrate®2017_int_base/CPU $,https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html)雙路 AMD EPYC 9654(1810 SPECrate®2017_int_base,共 192 個核心,360W TDP,$11,805 CPU $),5.028 SPECrate®2017_int_base/CPU W,0.153 SPECrate®2017_int_base/CPU $,https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html)雙路 Intel Xeon Platinum 8592+(1130 SPECrate®2017_int_base,共 128 個核心,350W TDP,$11,600 CPU $),3.229 SPECrate®2017_int_base/CPU W,0.097 SPECrate®2017_int_base/CPU $,http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html)雙路 Intel Xeon 6780E(1410 SPECrate®2017_int_base,共 288 個核心,330W TDP,$11,350 CPU $)4.273 SPECrate®2017_int_base/CPU W,0.124 SPECrate®2017_int_base/CPU $,https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html)SPEC®、SPEC CPU® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。Intel 處理器 TDP,網址為 https://ark.intel.com/