Führendes Portfolio für die AI Inference Auslastungen in Unternehmen

AI Inference verwendet ein trainiertes KI-Modell, um Vorhersagen für neue Daten zu treffen. AMD bietet eine Reihe von Lösungen für AI Inference, je nach Modellgröße und Anwendungsanforderungen. AMD EPYC™ Prozessoren eignen sich hervorragend für kleine bis mittlere KI-Modelle und Auslastungen, bei denen die Nähe zu den Daten wichtig ist. Für Batch- oder Offline-Verarbeitungsanwendungen, bei denen Latenzzeiten nicht kritisch sind, bieten AMD EPYC Prozessoren eine kostengünstige Inferenzlösung.

Im Folgenden finden Sie nur einige der KI-Auslastungen, die auf AMD EPYC Prozessoren gut funktionieren. Lesen Sie diesen Artikel mit den Details, um die einzelnen Auslastungstypen näher zu betrachten.

Mehr erfahren über die Top 5 CPU-Inferenzauslastungen

Niedrige Latenztoleranz
 

Systemtyp

Beispiele

Begründung

Empfehlungssysteme
  • Inhaltsbasiertes Filtern
  • Kollaboratives Filtern
  • Klassifizierung und Ähnlichkeit
  • Verwenden oft kleinere Modelle
  • Unterstützen Sparse- und vielfältige Daten
  • Gewisse Genauigkeitstoleranz

Maschinelles Lernen
  • Entscheidungsbäume
  • Lineare Regression
  • Unterstützen von Vektormaschinen
  • Verwenden von sequenziellen Vorgängen
  • Unterschiedliche mathematische Berechnungen

Mittlere Latenztoleranz
 

Systemtyp

Beispiele

Begründung

Natural Language Processing
  • Textklassifizierung
  • Stimmungsanalyse
  • Text-zu-Sprache und Sprache-zu-Text
  • Performance-Anforderungen für die menschliche Auffassungsgabe
  • Kleinere Modelle und Datensätze

Gemischte, KI-fähige Anwendungen
  • Datenbankanalysen
  • Simulation und Modellierung
  • Echtzeitinteraktivität
  • Sequenzielle Datenverarbeitung
  • Schneller Kontextwechsel innerhalb des Workflows

Hohe Latenztoleranz

Systemtyp

Beispiele

Begründung

Generative KI
  • Dokumentgenerierung
  • Text-zu-Bild-Erstellung
  • Bild-zu-Video-Erstellung
  • Häufig repetitive Workflows für Batch-Erstellung
  • Traditionell für zeit- und ressourcenintensive Aufgaben verwendet

Large Language Models
  • Chatbots
  • Zusammenfassung
  • Übersetzung
  • Kleinere Prompt-Größe
  • Kleinere Datensätze

Anwendungen und Branchen

KI-Modelle, die in Computer-Vision-, Natural-Language-Processing- und Empfehlungssysteme integriert sind, haben einen erheblichen Einfluss auf Unternehmen in verschiedenen Branchen. Diese Modelle helfen Unternehmen, Objekte zu erkennen, Anomalien zu klassifizieren, geschriebene und gesprochene Wörter zu verstehen und Empfehlungen auszusprechen. Sie beschleunigen die Entwicklung dieser Modelle, wodurch Unternehmen unabhängig von ihrer Branche von den Vorteilen profitieren können.

Automated Driving Illustration

Automobilbranche

Computer-Vision-Modelle helfen dabei, selbstfahrende Autos voranzutreiben und auch Schilder, Fußgänger und andere Fahrzeuge zu erkennen, denen ausgewichen werden muss. Modelle für die Verarbeitung natürlicher Sprache (Natural Language Processing) helfen bei der Erkennung gesprochener Befehle für die Telematik im Auto.

data image

Finanzdienstleistungen

Die KI-gestützte Erkennung von Anomalien hilft, Kreditkartenbetrug zu verhindern, während Computer-Vision-Modelle auf verdächtige Dokumente wie Kundenschecks achten.

abstract retail image

Einzelhandel

Automatisieren Sie Kassenschlangen, indem Sie Produkte erkennen, oder schaffen Sie sogar autonome Einkaufserlebnisse, bei denen die Modelle Kunden mit den Artikeln verbinden, die sie auswählen und in ihre Taschen legen. Nutzen Sie Produktempfehlungs-Engines, um Alternativen anzubieten, ob online oder im Geschäft.

Manufacturing Gears

Fertigung

Verwenden Sie Computer-Vision-Modelle, um die Qualität von hergestellten Produkten zu überwachen – von Lebensmitteln bis hin zu Leiterplatten. Geben Sie Telemetriedaten in Empfehlungs-Engines ein, um proaktive Wartungsmaßnahmen vorzuschlagen: Stehen Festplattenlaufwerke kurz vor dem Ausfall? Verbraucht der Motor zu viel Öl?

Top view of cardiologist doctor medical healthcare desk

Medizinischer Bereich

Erkennen Sie Anomalien wie Frakturen und Tumore mit Computer-Vision-Modellen. Verwenden Sie die gleichen Modelle in der Forschung, um das Wachstum und die Vermehrung von Zellen in vitro zu beurteilen.

Big data analytics AI technology

Serviceautomatisierung

Wo IT auf Kunden trifft, kann die Verarbeitung natürlicher Sprache dabei helfen, Maßnahmen auf der Grundlage gesprochener Anfragen zu ergreifen. Zudem können Empfehlungs-Engines Kunden auf zufriedenstellende Lösungen und Produktalternativen hinweisen.

Die ideale Wahl für AI Inference Auslastungen in Unternehmen

Ob als reine CPU bereitgestellt oder als Host für GPUs verwendet, die größere Modelle ausführen – AMD EPYC™ 9005-Serie Prozessoren sind mit den neuesten offenen Standardtechnologien ausgestattet, um AI Inference Auslastungen in Unternehmen zu beschleunigen.

Konzipiert für AI Inference

Bis zu 192 AMD „Zen 5“ Kerne: mit vollem 512b weitem Datenpfad für AVX-512-Befehlsunterstützung bieten eine hohe Parallelität für AI Inference Auslastungen und reduzieren den Bedarf an GPU-Beschleunigung.

Entwickelt für gleichzeitige KI und herkömmliche Auslastungen: AMD EPYC Prozessoren der 5. Generation bieten die Integer Performance für herkömmliche Auslastungen.1 AMD EPYC Prozessoren bieten effiziente Inferenz für eine Vielzahl von KI-Auslastungen und Modellgrößen.

Schnelle Verarbeitung und E/A: 37 % Anstieg im Generationenvergleich für KI-Auslastungen bei Anweisungen pro Taktzyklus.2 DDR5-Speicher und PCIe® Gen 5 I/O für schnelle Datenverarbeitung.

Ermitteln, wann CPUs für die Inferenz verwendet werden sollten
Mehr erfahren über die Top 5 CPU-Inferenzauslastungen
AMD EPYC™ 9005 Series

AMD Software-Optimierungen für AI Inference

Framework-Unterstützung: AMD unterstützt die gängigsten KI-Frameworks, darunter TensorFlow, PyTorch und ONNX Runtime, und deckt damit verschiedene Anwendungsfälle wie Bildklassifizierung und Empfehlungs-Engines ab.

Open Source und Kompatibilität: Optimierungen sind in gängige Frameworks integriert und bieten umfassende Kompatibilität und Open-Source-Upstream-Freundlichkeit. Darüber hinaus arbeitet AMD mit Hugging Face zusammen, um deren Open-Source-Modelle sofort mit ZenDNN nutzen zu können.

ZenDNN-Plug-ins: Diese Plug-ins beschleunigen AI Inference Auslastungen durch die Optimierung von Operatoren, die Nutzung von Mikrokernen und die Implementierung von effizientem Multithreading auf AMD EPYC Kernen.

Erfahren Sie, wie einfach die Verwendung von ZenDNN ist
Bildzoom
AMD Software Optimizations Diagram

Datensicherheit ist in der Ära der KI noch wichtiger

Da die Digitalisierung, das Cloud-Computing, die KI und andere neue Technologien das Datenwachstum ankurbeln, wird der Bedarf an fortschrittlichen Sicherheitsmaßnahmen noch dringender. Dieses erhöhte Sicherheitsbedürfnis wird durch die zunehmende globale Bedeutung von Datenschutzbestimmungen und hohen Strafen für Datenschutzverletzungen noch verstärkt, was den beispiellosen Wert von Daten inmitten steigender Sicherheitsrisiken verdeutlicht.

AMD Infinity Guard ist auf Chipebene integriert und bietet die erweiterten Funktionen, die für den Schutz vor internen und externen Bedrohungen erforderlich sind. Ihre Daten bleiben somit sicher.3

Mehr erfahren
Cyber security illustration

KI-Auslastungsmodelle

AMD EPYC™ 9005 Prozessor-basierte Server und Cloud-Instanzen ermöglichen schnelle, effiziente KI-fähige Lösungen in der Nähe Ihrer Kunden und Daten.

2P-Server bei Ausführung von Llama3.1-8B BF16⁴ (Relative Token/Sekunde)
AMD EPYC™ 9965 der 5. Generation
1,8 x
AMD EPYC™ 9654 der 4. Generation
1,3 x
Xeon® Platinum® 8592+ der 5. Generation
1,0 x
2P-Server bei Ausführung von FAISS⁵ (Anfragen/Stunde)
AMD EPYC™ 9965 der 5. Generation
3,8 x
AMD EPYC™ 9654 der 4. Generation
2,0 x
Xeon® Platinum® 8592+ der 5. Generation
1,0 x
2P-Server mit TPCx-AI @ SF30⁶ (Durchsatz/Min.)
AMD EPYC™ 9965 der 5. Generation
3,8 x
AMD EPYC™ 9654 der 4. Generation
2,3 x
Xeon® Platinum® 8592+ der 5. Generation
1,0 x
2P-Server bei Ausführung von XGBoost @ SF30⁷ (Lauf/Stunde)
AMD EPYC™ 9965 der 5. Generation
3,0 x
AMD EPYC™ 9654 der 4. Generation
2,0 x
Xeon® Platinum® 8592+ der 5. Generation
1,0 x

Ressourcen

Übersichten zu AMD EPYC Enterprise AI

AMD und Partnerdokumentation finden, die Innovationen zu KI und maschinellem Lernen beschreibt

Bibliothek besuchen

AMD EPYC 9005‑Serie Prozessoren

AMD EPYC™ 9005 Prozessoren ermöglichen eine schnelle, effiziente AI Inference in unmittelbarer Nähe zu Unternehmensdaten und fördern so eine transformative Geschäftsperformance.

Mehr erfahren

Podcasts

Hören Sie sich an, wie führende Technologieexperten von AMD und aus der Branche die neuesten Trendthemen zu Servern, Cloud-Computing, KI, HPC und mehr diskutieren.

Archiv besuchen
Fußnoten
  1. 9xx5-002D: Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 10.10.2024. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 Kerne gesamt, 500 W TDP, 14.813 CPU $), 6,060 SPECrate®2017_int_base/CPU W, 0,205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.984 CPU $), 5,440 SPECrate®2017_int_base/CPU W, 0,209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 Kerne gesamt, 360 W TDP, 11.900 CPU $), 5,417 SPECrate®2017_int_base/CPU W, 0,164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 Kerne gesamt, 360 W TDP, 11.805 CPU $), 5,028 SPECrate®2017_int_base/CPU W, 0,153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 Kerne gesamt, 350 W TDP, 11.600 CPU $) 3,229 SPECrate®2017_int_base/CPU W, 0,097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 Kerne gesamt, 330 W TDP, 11.350 CPU $) 4,273 SPECrate®2017_int_base/CPU W, 0,124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org. Intel CPU TDP unter https://ark.intel.com/.
  2. 9xx5-001: Basierend auf internen Tests von AMD vom 10.09.2024, Performance-Verbesserung im geometrischen Mittel (IPC) bei Festfrequenz. - EPYC der 5. Generation IPC-Steigerung im Generationenvergleich bei ML-/HPC-Server-Auslastungen von 1,369 x (geometrisches Mittel) mit ausgewähltem Satz von 24 Auslastungen und geometrisches Mittel von repräsentativen ML-Server-Auslastungen (geometrisches Mittel) und repräsentativen HPC-Server-Auslastungen (geometrisches Mittel). „Genoa“ Konfiguration (alle NPS1) „Genoa“ Konfiguration: EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD in 12+1), FF 3 GHz, 12 x DDR5-4800 (2Rx4 64 GB), 32 Gbit/s xGMI; „Turin“ Konfiguration (alle NPS1):   EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD in 12+1), FF 3 GHz, 12 x DDR5-6000 (2Rx4 64 GB), 32 Gbit/s xGMI Unter Verwendung von Performance-Determinismus und dem Performance-Governor auf Ubuntu 22.04 mit 6.8.0-40-generic Kernel Betriebssystem für alle Auslastungen, mit Ausnahme von LAMMPS, HPCG, NAMD, OpenFOAM, Gromacs, die 24.04 mit 6.8.0-40-generic Kernel verwenden. SPEC® und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter spec.org.
  3. GD-183A AMD Infinity Guard Funktionen variieren je nach EPYC™ Prozessorgeneration und/oder Serie. Sicherheitsfunktionen von Infinity Guard müssen von Server-Erstausrüstern und/oder Cloud-Dienstanbietern vor Betrieb aktiviert werden. Wenden Sie sich an Ihren Erstausrüster oder Anbieter, um die Unterstützung dieser Funktionen zu erfragen. Mehr erfahren über Infinity Guard unter https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html
  4. 9xx5-009: Llama3.1-8B-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. Llama3-8B-Konfigurationen: IPEX.LLM 2.4.0, NPS = 2, BF16, Batch-Größe 4, Eingabe-/Ausgabe-Token-Konfigurationen (Anwendungsfälle): [Zusammenfassung = 1024/128, Chatbot = 128/128, Übersetzung = 1024/1024, Essay = 128/1024, Beschriftung = 16/16].   2P AMD EPYC 9965 (384 Kerne gesamt), 6 Instanzen mit 64 Kernen 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C, (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 22P AMD EPYC 9755 (256 Kerne gesamt), 4 Instanzen mit 64 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 2P AMD EPYC 9654 (192 Kerne gesamt) 4 Instanzen mit 48 Kernen, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic (tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 2 im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 2 Instanzen mit 64 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled).  Ergebnisse: CPU 2P EMR 64 Kerne 2P Turin 192 Kerne 2P Turin 128 Kerne 2P Genoa 96 Kerne Durchschnitt Aggregiert Medianwert Gesamtdurchsatz 99,474 193,267 182,595 138,978 Wettbewerbsvergleich 1 1,943 1,836 1,397 Generationenvergleich k. A. 1,391 1,314 1 Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  5. 9xx5-011: FAISS (Anfragen/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. FAISS-Konfigurationen: sift1m-Datensatz, Instanzen mit 16 Kernen, FP32, MKL 2024.2.1    2P AMD EPYC 9965 (384 Kerne gesamt), 24 Instanzen mit 16 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 4 2P AMD EPYC 9654 (192 Kerne gesamt) 12 Instanzen mit 16 Kernen, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power), NPS = 4 im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 8 Instanzen mit 16 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse:CPU Medianwert Relativer Wert Durchsatz Generationenvergleich 2P Turin 192 Kerne 64,2 3,776 1,861 2P Genoa 96 Kerne 34,5 2,029 1 2P EMR 64 Kerne 17 1 k. A. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.
  6. 9xx5-012: TPCxAI @SF30 Multi-Instanz mit 32 Kernen Instanzgröße-Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024 bei Ausführung mehrerer VM-Instanzen. Der aggregierte End-to-End-KI-Durchsatztest ist vom TPCx-AI-Benchmark abgeleitet und als solcher nicht mit den veröffentlichten TPCx-AI-Ergebnissen vergleichbar, da die Ergebnisse des End-to-End-KI-Durchsatztests nicht der TPCx-AI-Spezifikation entsprechen.2P AMD EPYC 9965 (384 Kerne gesamt), 12 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled)2P AMD EPYC 9755 (256 Kerne gesamt), 8 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled)2P AMD EPYC 9654 (192 Kerne gesamt), 6 Instanzen mit 32 Kernen, NPS1, 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = off, Determinism = Power)Im Vergleich zu 2P Xeon Platinum 8592+ (128 Kerne gesamt), 4 Instanzen mit 32 Kernen, AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Medianwert Relativer Wert Generationenvergleich Turin 192 Kerne, 12 Instanzen 6067,531 3,775 2,278 Turin 128 Kerne, 8 Instanzen 4091,85 2,546 1,536 Genoa 96 Kerne, 6 Instanzen 2663,14 1,657 1 EMR 64 Kerne, 4 Instanzen 1607,417 1 NA Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. TPC, TPC Benchmark und TPC-C sind Marken des Transaction Processing Performance Council.
  7. 9xx5-040A: XGBoost (Läufe/Stunde) Durchsatzergebnisse basierend auf internen Tests von AMD vom 05.09.2024. XGBoost Konfigurationen: v2.2.1, Higgs Data Set, Instanzen mit 32 Kernen, FP32 2P AMD EPYC 9965 (384 Kerne gesamt), Instanzen mit 12 x 32 Kernen, 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9755 (256 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-6400 (bei 6000 MT/s), 1 DPC, 1,0 Gbit/s NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = off, Determinism = Power, Turbo Boost = Enabled), NPS = 1 2P AMD EPYC 9654 (192 Kerne gesamt), 1,5 TB 24 x 64 GB DDR5-4800, 1 DPC, 2 x 1,92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT = off, Determinism = Power), NPS = 1 Versus 2P Xeon Platinum 8592+ (128 Kerne gesamt), AMX Ein, 1 TB 16 x 64 GB DDR5-5600, 1 DPC, 1,0 Gbit/s NetXtreme BCM5719 Gigabit Ethernet PCIe, 3,84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = off, Determinism = Power, Turbo Boost = Enabled) Ergebnisse: CPU Lauf 1 Lauf 2 Lauf 3 Medianwert Relativer Wert Durchsatz Generationenvergleich 2P Turin 192 Kerne, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren.