Performance-Übersichten und technische Dokumente
Finden Sie technische Ressourcen, um Ihre Infrastruktur mit AMD EPYC 9005 Prozessoren aufzubauen
Wir stellen vor: AMD EPYC Prozessoren der 5. Generation
Die AMD EPYC 9005-Serie Prozessoren wurden speziell zur Beschleunigung von Workloads für Rechenzentren, Cloud und KI entwickelt und setzen neue Maßstäbe für die Computing-Performance in Unternehmen.
Die führende CPU für KI1
AMD EPYC™ 9005 Prozessoren bieten durchgängige KI-Performance.
Pro-Server-Performance maximieren
AMD EPYC™ 9005 kann die Integer Performance alter Hardware mit bis zu 86 % weniger Racks2 abdecken. So wird der physische Platzbedarf, der Stromverbrauch und die Anzahl der erforderlichen Softwarelizenzen enorm reduziert und Platz geschaffen für neue oder erweiterte KI-Auslastungen.
Führende KI-Inferenz-Performance
Viele KI-Auslastungen, LLMs mit 13 Milliarden Parametern und darunter, Bild- und Betrugsanalysen oder Empfehlungssysteme werden effizient auf reinen CPU-Servern mit AMD EPYC™ 9005 CPUs ausgeführt. Server, die mit zwei AMD EPYC 9965 CPUs der 5. Generation ausgestattet sind, bieten einen bis zu 2-fachen Inferenzdurchsatz im Vergleich zu Angeboten der vorherigen Generation.3
GPU-Beschleunigung maximieren
Die AMD EPYC™ 9005 Familie beinhaltet Optionen, die für Host-CPUs für GPU-fähige Systeme optimiert sind, um die Performance auf ausgewählten KI-Auslastungen zu erhöhen und den ROI für jeden GPU-Server zu verbessern. Ein Server mit AMD EPYC 9575F Hochfrequenzprozessor und 8 GPUs liefert z. B. eine bis zu 20 % höhere System-Performance als ein Server mit Intel Xeon 8592+ Prozessoren als Host-CPU mit den gleichen 8 GPUs bei Ausführung von Llama3.1-70B.4
Erfahren Sie, wie AMD EPYC Prozessoren der 5. Generation dazu beitragen, die Effizienz und Performance von KI im gesamten Rechenzentrum zu steigern. Von der Schaffung von Platz und Energie in Ihrem Rechenzentrum über Inferenz direkt auf der CPU bis hin zur Verbesserung der Performance auf GPUs – AMD EPYC Prozessoren ermöglichen neue Dimensionen für KI im Unternehmen.
Unternehmens-Performance, optimiert
AMD EPYC 9005 Prozessoren liefern herausragende Performance und bieten dabei führende Energieeffizienz und niedrige Gesamtbetriebskosten zur Unterstützung wichtiger Unternehmensziele.
Branchenführende Integer Performance
Server mit AMD EPYC 9005 CPU nutzen die neuen „Zen 5“ Kerne, um überzeugende Mainstream-Performance-Metriken, einschließlich 2,7-facher Integer Performance im Vergleich zu führenden Angeboten der Konkurrenz, zu bieten.5
Konzipiert für die Cloud
AMD EPYC™ 9005 Prozessoren bieten Dichte und Performance für Cloud-Auslastungen. Mit 192 Kernen unterstützt der AMD EPYC 9965 Top-of-Stack-Prozessor 33 % mehr virtuelle CPUs (vCPUs) als der führende Intel® Xeon 6E „Sierra Forest“ Prozessor mit 144 Kernen (1 Kern pro vCPU).
Führende Effizienz und Gesamtbetriebskosten
Rechenzentren erfordern mehr Strom als je zuvor. AMD EPYC™ 9005 Prozessoren bieten auch weiterhin die Vorteile der vorherigen AMD EPYC Generationen in Sachen Energieeffizienz und Gesamtbetriebskosten.
Führende Performance, Dichte und Effizienz
AMD EPYC 9005-Serie Prozessoren enthalten bis zu 192 „Zen 5“ oder „Zen 5c“ Kerne mit einzigartiger Speicherbandbreite und -kapazität. Die innovative AMD-Chiplet-Architektur ermöglicht energieeffiziente High-Performance-Lösungen, die für die unterschiedlichsten Computing-Anforderungen optimiert sind.
„Zen 5“
„Zen 5c“
Breite Ökosystemunterstützung, mit führenden Unternehmen der Branche
AMD arbeitet mit einem großen Netzwerk von Lösungsanbietern für AMD EPYC™ 9005 Prozessoren zusammen. Unternehmen und Behörden auf der ganzen Welt wählen AMD für ihre wichtigsten Auslastungen.
Modellspezifikationen
Ressourcen
Fußnoten
- 9xx5-012: TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024 bei Ausführung mehrerer VM-Instanzen. Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen.
2P AMD EPYC 9965 (384 Kerne gesamt), 12 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled)
2P AMD EPYC 9755 (256 Kerne gesamt), 8 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled)
2P AMD EPYC 9654 (192 Kerne gesamt), 6 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power)
Im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 4 Instanzen mit 32 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled)
Ergebnisse:
CPU Medianwert Relativer Wert Generationenvergleich
Turin 192 Kerne, 12 Instanzen 6067,531 3,775 2,278
Turin 128 Kerne, 8 Instanzen 4091,85 2,546 1,536
Genoa 96 Kerne, 6 Instanzen 2663,14 1,657 1
EMR 64 Kerne, 4 Instanzen 1607,417 1 k. A.
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council.
- 9xx5TCO-001B: Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht anstelle eigener Tests als Entscheidungsgrundlage genommen werden. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.12 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 39.100 Einheiten von SPECrate2017_int_base-Performance (Stand 10. Oktober 2024). Bei diesem Szenario wird ein älterer 2P-Server mit Intel Xeon Platinum_8280 mit 28 Kernen mit einer Bewertung von 391 verglichen mit einem 2P-Server mit EPYC 9965 (192 Kerne) und einer Bewertung von 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) sowie mit einem Vergleichs-Upgrade auf einen 2P-Server mit Intel Xeon Platinum 8592+ (64 Kerne) mit einer Bewertung von 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Die tatsächliche SPECrate®2017_int_base-Bewertung für 2P EPYC 9965 kann je nach OEM-Veröffentlichung abweichen. Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „2024 International Country Specific Electricity Factors 10 – July 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency.
- 9xx5-040A: XGBoost (Läufe/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. XGBoost Konfigurationen: v2.2.1, Higgs Data Set, Instanzen mit 32 Kernen, FP32 2P AMD EPYC 9965 (384 Kerne gesamt), Instanzen mit 12 x 32 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9654 (192 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT = off, Determinism = Power), NPS = 1 Versus 2P Xeon Platinum 8592+ (128 Kerne gesamt), AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Lauf 1 Lauf 2 Lauf 3 Medianwert Relativer Wert Durchsatz Generationenvergleich 2P Turin 192 Kerne, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
- 9xx5-014: Llama3.1-70B-Inferenz-Durchsatzergebnisse basierend auf internen Tests von AMD vom 01.09.2024.
Llama3.1-70B-Konfigurationen: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, Eingangs-/Ausgangs-Token-Konfigurationen (Anwendungsfälle): [BS=1024 E/A=128/128, BS=1024 E/A=128/2048, BS=96 E/A=2048/128, BS=64 E/A=2048/2048]. Ergebnisse in Token/Sekunde.
2P AMD EPYC 9575F (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1,5 TB 24 x 64 GB DDR5-6000, 1,0 Gbit/s 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113 (Determinism = Power, SR-IOV = On), Ubuntu 22.04.3 LTS, Kernel = 5.15.0-117-generic (mitigations = off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1 TB 16 x 64 GB DDR5-5600, 3,2 TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate = 1, intel_idle.max_cstate = 0 mitigations = off, cpupower frequency-set -g performance), BIOS 2.1, (Max. Performance, SR-IOV = On),
E/A-Token Batch-Größe EMR Turin Relativer Wert
128/128 1024 814,678 1101,966 1,353
128/2048 1024 2120,664 2331,776 1,1
2048/128 96 114,954 146,187 1,272
2048/2048 64 333,325 354,208 1,063
Für eine durchschnittliche Durchsatzsteigerung von 1,197 x.
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
- 9xx5-002D: Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 10.10.2024. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 Kerne gesamt, 500 W TDP, 14.813 CPU $), 6,060 SPECrate®2017_int_base/CPU W, 0,205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.984 CPU $), 5,440 SPECrate®2017_int_base/CPU W, 0,209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 Kerne gesamt, 360 W TDP, 11.900 CPU $), 5,417 SPECrate®2017_int_base/CPU W, 0,164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 Kerne gesamt, 360 W TDP, 11.805 CPU $), 5,028 SPECrate®2017_int_base/CPU W, 0,153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 Kerne gesamt, 350 W TDP, 11.600 CPU $) 3,229 SPECrate®2017_int_base/CPU W, 0,097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 Kerne gesamt, 330 W TDP, 11.350 CPU $) 4,273 SPECrate®2017_int_base/CPU W, 0,124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org. Intel CPU TDP unter https://ark.intel.com/.
Fußnoten
- 9xx5-012: TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024 bei Ausführung mehrerer VM-Instanzen. Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen.
2P AMD EPYC 9965 (384 Kerne gesamt), 12 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled)
2P AMD EPYC 9755 (256 Kerne gesamt), 8 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled)
2P AMD EPYC 9654 (192 Kerne gesamt), 6 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power)
Im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 4 Instanzen mit 32 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled)
Ergebnisse:
CPU Medianwert Relativer Wert Generationenvergleich
Turin 192 Kerne, 12 Instanzen 6067,531 3,775 2,278
Turin 128 Kerne, 8 Instanzen 4091,85 2,546 1,536
Genoa 96 Kerne, 6 Instanzen 2663,14 1,657 1
EMR 64 Kerne, 4 Instanzen 1607,417 1 k. A.
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council. - 9xx5TCO-001B: Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht anstelle eigener Tests als Entscheidungsgrundlage genommen werden. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.12 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 39.100 Einheiten von SPECrate2017_int_base-Performance (Stand 10. Oktober 2024). Bei diesem Szenario wird ein älterer 2P-Server mit Intel Xeon Platinum_8280 mit 28 Kernen mit einer Bewertung von 391 verglichen mit einem 2P-Server mit EPYC 9965 (192 Kerne) und einer Bewertung von 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) sowie mit einem Vergleichs-Upgrade auf einen 2P-Server mit Intel Xeon Platinum 8592+ (64 Kerne) mit einer Bewertung von 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Die tatsächliche SPECrate®2017_int_base-Bewertung für 2P EPYC 9965 kann je nach OEM-Veröffentlichung abweichen. Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „2024 International Country Specific Electricity Factors 10 – July 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency.
- 9xx5-040A: XGBoost (Läufe/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. XGBoost Konfigurationen: v2.2.1, Higgs Data Set, Instanzen mit 32 Kernen, FP32 2P AMD EPYC 9965 (384 Kerne gesamt), Instanzen mit 12 x 32 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9654 (192 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT = off, Determinism = Power), NPS = 1 Versus 2P Xeon Platinum 8592+ (128 Kerne gesamt), AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Lauf 1 Lauf 2 Lauf 3 Medianwert Relativer Wert Durchsatz Generationenvergleich 2P Turin 192 Kerne, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
- 9xx5-014: Llama3.1-70B-Inferenz-Durchsatzergebnisse basierend auf internen Tests von AMD vom 01.09.2024.
Llama3.1-70B-Konfigurationen: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, Eingangs-/Ausgangs-Token-Konfigurationen (Anwendungsfälle): [BS=1024 E/A=128/128, BS=1024 E/A=128/2048, BS=96 E/A=2048/128, BS=64 E/A=2048/2048]. Ergebnisse in Token/Sekunde.
2P AMD EPYC 9575F (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1,5 TB 24 x 64 GB DDR5-6000, 1,0 Gbit/s 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113 (Determinism = Power, SR-IOV = On), Ubuntu 22.04.3 LTS, Kernel = 5.15.0-117-generic (mitigations = off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1 TB 16 x 64 GB DDR5-5600, 3,2 TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate = 1, intel_idle.max_cstate = 0 mitigations = off, cpupower frequency-set -g performance), BIOS 2.1, (Max. Performance, SR-IOV = On),
E/A-Token Batch-Größe EMR Turin Relativer Wert
128/128 1024 814,678 1101,966 1,353
128/2048 1024 2120,664 2331,776 1,1
2048/128 96 114,954 146,187 1,272
2048/2048 64 333,325 354,208 1,063
Für eine durchschnittliche Durchsatzsteigerung von 1,197 x.
Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. - 9xx5-002D: Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 10.10.2024. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 Kerne gesamt, 500 W TDP, 14.813 CPU $), 6,060 SPECrate®2017_int_base/CPU W, 0,205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.984 CPU $), 5,440 SPECrate®2017_int_base/CPU W, 0,209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 Kerne gesamt, 360 W TDP, 11.900 CPU $), 5,417 SPECrate®2017_int_base/CPU W, 0,164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 Kerne gesamt, 360 W TDP, 11.805 CPU $), 5,028 SPECrate®2017_int_base/CPU W, 0,153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 Kerne gesamt, 350 W TDP, 11.600 CPU $) 3,229 SPECrate®2017_int_base/CPU W, 0,097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 Kerne gesamt, 330 W TDP, 11.350 CPU $) 4,273 SPECrate®2017_int_base/CPU W, 0,124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org. Intel CPU TDP unter https://ark.intel.com/.