Fiches de performances et documents techniques
Trouvez toutes les ressources techniques dont vous avez besoin pour construire votre infrastructure avec les processeurs AMD EPYC 9005.
Présentation des processeurs AMD EPYC de 5e génération
Spécialement conçus pour accélérer les charges de travail des centres de données, du cloud et de l'IA, les processeurs AMD EPYC Série 9005 offrent aux entreprises des performances de calcul sans précédent.
Le processeur de référence pour l'IA1
Les processeurs AMD EPYC™ 9005 offrent des performances IA de bout en bout.
Optimisation des performances par serveur
AMD EPYC™ 9005 peut égaler les performances de calcul d'entiers du hardware existant, avec jusqu'à 86 % de racks en moins2, ce qui réduit considérablement l'encombrement physique, la consommation énergétique et le nombre de licences software nécessaires, libérant ainsi de l'espace pour les charges de travail d'IA nouvelles ou étendues.
Performances d'inférence d'IA de pointe
De nombreuses charges de travail d'IA, comme des modèles de langage avec 13 milliards de paramètres et moins, des systèmes d'analyse des images et des fraudes ou des systèmes de recommandation s'exécutent efficacement sur des serveurs exclusivement dotés de CPU AMD EPYC™ 9005. Les serveurs équipés de deux processeurs AMD EPYC 9965 de 5e génération offrent un débit d'inférence jusqu'à 2 fois supérieur à ceux de la génération précédente.3
Optimisation de l'accélération du GPU
La gamme AMD EPYC™ 9005 inclut des options optimisées pour servir de CPU hôtes pour les systèmes équipés de GPU afin d'améliorer les performances sur certaines charges de travail d'IA et d'améliorer le retour sur investissement de chaque serveur GPU. Par exemple, un serveur haute fréquence équipé d'un processeur AMD EPYC 9575F et de 8 GPU offre des performances système jusqu'à 20 % supérieures à celles d'un serveur équipé de processeurs Intel Xeon 8592+ comme processeur hôte avec les huit mêmes GPU exécutant Llama3.1-70B.4
Découvrez comment les processeurs AMD EPYC de 5e génération contribuent à améliorer l'efficacité et les performances de l'IA dans l'ensemble du centre de données. Qu'il s'agisse d'ajouter de l'espace et de la puissance à votre centre de données, d'exécuter l'inférence directement sur le CPU ou d'améliorer les performances sur les GPU, les processeurs AMD EPYC font progresser l'IA d'entreprise pour qu'elle atteigne de nouveaux sommets.
Performances d'entreprise, optimisées
Les processeurs AMD EPYC 9005 fournissent d'excellentes performances tout en fournissant une efficacité énergétique de premier plan et un coût de possession (TCO) faible pour soutenir les impératifs clés de l'entreprise.
Les meilleures performances de calcul d'entiers du marché
Les serveurs équipés d'un processeur AMD EPYC 9005 exploitent les nouveaux cœurs « Zen 5 » pour offrir des mesures de performances grand public intéressantes, notamment des performances de calcul d'entiers multipliées par 2,7 par rapport aux principales offres de la concurrence.5
Conçu pour le Cloud
Les processeurs AMD EPYC™ 9005 offrent densité et performances pour les charges de travail sur le cloud. Avec 192 cœurs, le processeur AMD EPYC 9965 haut de gamme prend en charge 33 % de CPU virtuels (vCPU) en plus par rapport au processeur Intel® Xeon 6E « Sierra Forest » à 144 cœurs, qui est le plus répandu sur le marché (1 cœur par vCPU).
Efficacité du leadership et coût total de possession
Les centres de données exigent plus d'énergie que jamais. Les processeurs AMD EPYC™ 9005 continuent à offrir les avantages en termes d'efficacité énergétique et de coût total de possession des générations précédentes d'AMD EPYC.
Leadership en matière de performances, de densité et d'efficacité
Dotés d'une bande passante mémoire et d'une capacité exceptionnelles, les processeurs AMD EPYC Série 9005 incluent jusqu'à 192 cœurs « Zen 5 » ou « Zen 5c ». L'architecture chiplet AMD innovante offre des solutions hautes performances et économes en énergie adaptées à vos différents besoins en matière de calcul.
« Zen 5 »
« Zen 5c »
Un vaste écosystème de soutien, auquel les principaux acteurs du secteur font confiance.
AMD collabore avec un vaste réseau de fournisseurs de solutions équipés de processeurs AMD EPYC™ 9005. Les entreprises et les organismes gouvernementaux du monde entier choisissent AMD pour leurs charges de travail les plus importantes.
Spécifications du modèle
Ressources
Notes de bas de page
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council.
- 9xx5TCO-001B : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.12 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 39100 unités de performances SPECrate2017_int_base en date du 10 octobre 2024. Ce scénario compare un serveur existant équipé d'un 2P Intel Xeon 28 cœurs Platinum_8280 avec un score de 391 avec un serveur basé sur un 2P EPYC 9965 (192 cœurs) avec un score de 3 000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) ainsi qu'une mise à niveau de serveur équipé d'un 2P Intel Xeon Platinum 8592+ (64 cœurs) avec un score de 1 130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Le score réel SPECrate®2017_int_base pour le 2P EPYC 9965 varie en fonction des publications des OEM. Estimations de l'impact environnemental effectuées en transposant ces données au moyen des facteurs électriques spécifiques par pays et région, d'après le rapport « 2024 International Country Specific Electricity Factors 10 – Juillet 2024 », et l'outil de calcul des équivalences de gaz à effet de serre de l'agence de protection de l'environnement des États-Unis (United States Environmental Protection Agency Greenhouse Gas Equivalencies Calculator).
- 9xx5-040A : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 05/09/2024. Configurations XGBoost : v2.2.1, ensemble de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, 1,5 To 24x64 Go DDR5-6400 (à 6 000 MT/s), PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, 3,5 To Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (performance de débit du profil tuned-adm, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé), NPS=1 2P AMD EPYC 9755 (256 cœurs au total), 1,5 To 24x64 Go DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, 3,5 To Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé), NPS=1 2P AMD EPYC 9654 (192 cœurs au total), 1,5 To 24x64 Go DDR5-4800, 1 DPC, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT=off, Determinism=Power), NPS=1 par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), AMX activé, 1 To 16x64 Go DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, 3,84 To KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé) Résultats : CPU Exécution 1 Exécution 2 Exécution 3 Médiane débit relatif générationnel 2P Turin 192C, NPS1 1565,217 1537,367 1553,957 1553,957 3 2,41 2P Turin 128C, NPS1 1103,448 1138,34 1111,969 1111,969 2,147 1,725 2P Genoa 96C, NPS1 662,577 644,776 640,95 644,776 1,245 1 2P EMR 64C 517,986 421,053 553,846 517,986 1 NA Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-014 : résultats du débit d'inférences Llama3.1-70B basés sur les tests internes d'AMD en date du 01/09/2024.
Configurations Llama3.1-70B : TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configurations de jeton d'entrée/de sortie (cas d'utilisation) : [BS=1 024 E/S=128/128, BS=1 024 E/S=128/2 048, BS=96 E/S=2 048/128, BS=64 E/S=2 048/2 048]. Résultats en jetons/seconde.
2P AMD EPYC 9575F (128 cœurs au total) avec 8x NVIDIA H100 80 Go HBM3, 1,5 To 24x64 Go de DDR5-6000, NVMe® Micron_9300_MTFDHAL3T8T8TDP 3 To 1 Gbit/s, BIOS T20240805173113 (déterminisme=puissance, SR-IOV=activé), Ubuntu 22.04.3 LTS, noyau=5.15.0-117-generic (atténuations=désactivées, cpupower-frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 cœurs au total) avec 8x NVIDIA H100 80 Go HBM3, 1 To 16x64 Go de DDR5-5600, NVMe® Dell Ent PM1735a MU 3,2 To, Ubuntu 22.04.3 LTS, noyau 5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 atténuations=désactivé, cpupower frequency-set -g performance), BIOS 2.1 (performances maximales, SR-IOV=activé),
Taille du lot de jetons d'entrée/de sortie EMR Turin relative
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Pour une multiplication moyenne du débit de 1,197.
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS.
- 9xx5-002D : comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 10/10/2024 : www.spec.org. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 cœurs au total, 500 W de TDP, prix de CPU de 14 813$), 6,060 SPECrate®2017_int_base/W de CPU, 0,205 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 984 $), 5,440 SPECrate®2017_int_base/W de CPU, 0,209 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 cœurs au total, 360 W de TDP, prix du CPU de 11 900 $), 5,417 SPECrate®2017_int_base/W de CPU, 0,164 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 cœurs au total, 360 W de TDP, prix de CPU de 11 805 $), 5,028 SPECrate®2017_int_base/W de CPU, 0,153 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 cœurs au total, 350 W de TDP, prix de CPU de 11 600 $) 3,229 SPECrate®2017_int_base/W de CPU, 0,097 SPECrate®2017_int_base/dollar de CPU, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 cœurs au total, 330 W de TDP, prix de CPU de 11 350 $) 4,273 SPECrate®2017_int_base/W de CPU, 0,124 SPECrate®2017_int_base/dollar de CPU, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU®, et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous sur www.spec.org pour plus d'informations. TDP du CPU Intel sur https://ark.intel.com/.
Notes de bas de page
- 9xx5-012 : résultats de débit de taille d'instance 32 cœurs multi-instances TPCxAI à SF30 basés sur les tests internes d'AMD en date du 05/09/2024 exécutant plusieurs instances de machine virtuelle. Le test de débit de l'IA global de bout en bout est dérivé du benchmark TPCx-AI et n'est donc pas comparable aux résultats publiés de TPCx-AI, car les résultats du test de débit de l'IA de bout en bout ne sont pas conformes à la spécification TPCx-AI.
2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9755 (256 cœurs au total), 8 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, NVMe® Samsung MZWLO3T8HCLS-00A07 3,5 To, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
2P AMD EPYC 9654 (192 cœurs au total), 6 instances 32 cœurs, NPS1, 1,5 To 24x64 Go de DDR5-4800, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=désactivé, déterminisme=puissance)
Par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), 4 instances 32 cœurs, AMX activé, 1 To 16x64 Go de DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, NVMe KIOXIA KCMYXRUG3T84 3,84 To, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé)
Les résultats :
Médiane relative générationnelle des CPU
Turin 192 cœurs, 12 instances 6067.531 3.775 2.278
Turin 128 cœurs, 8 instances 4091.85 2.546 1.536
Genoa 96 cœurs, 6 instances 2663.14 1.657 1
EMR 64 cœurs, 4 instances 1607.417 1 NA
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. TPC, TPC Benchmark et TPC-C sont des marques déposées du Transaction Processing Performance Council. - 9xx5TCO-001B : Ce scénario contient de nombreuses hypothèses et estimations. Bien que basé sur les recherches internes d'AMD et sur les meilleures approximations, il doit être considéré comme un exemple fourni uniquement à titre indicatif et ne saurait se substituer à des tests réels lors de prises de décision. L'outil d'estimation du TCO (coût total de possession) des émissions de gaz à effet de serre et des serveurs AMD version 1.12 compare certaines solutions de serveur basées sur les CPU AMD EPYC™ et Intel® Xeon® requises pour offrir des PERFORMANCES TOTALES de 39100 unités de performances SPECrate2017_int_base en date du 10 octobre 2024. Ce scénario compare un serveur existant équipé d'un 2P Intel Xeon 28 cœurs Platinum_8280 avec un score de 391 avec un serveur basé sur un 2P EPYC 9965 (192 cœurs) avec un score de 3 000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) ainsi qu'une mise à niveau de serveur équipé d'un 2P Intel Xeon Platinum 8592+ (64 cœurs) avec un score de 1 130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Le score réel SPECrate®2017_int_base pour le 2P EPYC 9965 varie en fonction des publications des OEM. Estimations de l'impact environnemental effectuées en transposant ces données au moyen des facteurs électriques spécifiques par pays et région, d'après le rapport « 2024 International Country Specific Electricity Factors 10 – Juillet 2024 », et l'outil de calcul des équivalences de gaz à effet de serre de l'agence de protection de l'environnement des États-Unis (United States Environmental Protection Agency Greenhouse Gas Equivalencies Calculator).
- 9xx5-040A : résultats de débit XGBoost (exécutions/heure) basés sur les tests internes d'AMD en date du 05/09/2024. Configurations XGBoost : v2.2.1, ensemble de données Higgs, instances 32 cœurs, FP32 2P AMD EPYC 9965 (384 cœurs au total), 12 instances 32 cœurs, 1,5 To 24x64 Go DDR5-6400 (à 6 000 MT/s), PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, 3,5 To Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (performance de débit du profil tuned-adm, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé), NPS=1 2P AMD EPYC 9755 (256 cœurs au total), 1,5 To 24x64 Go DDR5-6400 (à 6 000 MT/s), 1 DPC, PCIe NetXtreme BCM5720 Gigabit Ethernet 1 Gbit/s, 3,5 To Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé), NPS=1 2P AMD EPYC 9654 (192 cœurs au total), 1,5 To 24x64 Go DDR5-4800, 1 DPC, 1 DPC, NVMe Samsung MZQL21T9HCJR-00A07 2 x 1,92 To, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (performance de débit du profil tuned-adm, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT=off, Determinism=Power), NPS=1 par rapport à 2P Xeon Platinum 8592+ (128 cœurs au total), AMX activé, 1 To 16x64 Go DDR5-5600, 1 DPC, PCIe NetXtreme BCM5719 Gigabit Ethernet 1 Gbit/s, 3,84 To KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic (performance de débit du profil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=désactivé, déterminisme=puissance, Turbo Boost=activé) Résultats : CPU Exécution 1 Exécution 2 Exécution 3 Médiane débit relatif générationnel 2P Turin 192C, NPS1 1565,217 1537,367 1553,957 1553,957 3 2,41 2P Turin 128C, NPS1 1103,448 1138,34 1111,969 1111,969 2,147 1,725 2P Genoa 96C, NPS1 662,577 644,776 640,95 644,776 1,245 1 2P EMR 64C 517,986 421,053 553,846 517,986 1 NA Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions software et les paramètres du BIOS.
- 9xx5-014 : résultats du débit d'inférences Llama3.1-70B basés sur les tests internes d'AMD en date du 01/09/2024.
Configurations Llama3.1-70B : TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configurations de jeton d'entrée/de sortie (cas d'utilisation) : [BS=1 024 E/S=128/128, BS=1 024 E/S=128/2 048, BS=96 E/S=2 048/128, BS=64 E/S=2 048/2 048]. Résultats en jetons/seconde.
2P AMD EPYC 9575F (128 cœurs au total) avec 8x NVIDIA H100 80 Go HBM3, 1,5 To 24x64 Go de DDR5-6000, NVMe® Micron_9300_MTFDHAL3T8T8TDP 3 To 1 Gbit/s, BIOS T20240805173113 (déterminisme=puissance, SR-IOV=activé), Ubuntu 22.04.3 LTS, noyau=5.15.0-117-generic (atténuations=désactivées, cpupower-frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 cœurs au total) avec 8x NVIDIA H100 80 Go HBM3, 1 To 16x64 Go de DDR5-5600, NVMe® Dell Ent PM1735a MU 3,2 To, Ubuntu 22.04.3 LTS, noyau 5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 atténuations=désactivé, cpupower frequency-set -g performance), BIOS 2.1 (performances maximales, SR-IOV=activé),
Taille du lot de jetons d'entrée/de sortie EMR Turin relative
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Pour une multiplication moyenne du débit de 1,197.
Les résultats peuvent varier en fonction de facteurs tels que les configurations système, les versions logicielles et les paramètres du BIOS. - 9xx5-002D : comparaison SPECrate®2017_int_base basée sur les scores publiés à l'adresse suivante le 10/10/2024 : www.spec.org. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 cœurs au total, 500 W de TDP, prix de CPU de 14 813$), 6,060 SPECrate®2017_int_base/W de CPU, 0,205 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 cœurs au total, 500 W de TDP, prix de CPU de 12 984 $), 5,440 SPECrate®2017_int_base/W de CPU, 0,209 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 cœurs au total, 360 W de TDP, prix du CPU de 11 900 $), 5,417 SPECrate®2017_int_base/W de CPU, 0,164 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 cœurs au total, 360 W de TDP, prix de CPU de 11 805 $), 5,028 SPECrate®2017_int_base/W de CPU, 0,153 SPECrate®2017_int_base/dollar de CPU, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 cœurs au total, 350 W de TDP, prix de CPU de 11 600 $) 3,229 SPECrate®2017_int_base/W de CPU, 0,097 SPECrate®2017_int_base/dollar de CPU, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 cœurs au total, 330 W de TDP, prix de CPU de 11 350 $) 4,273 SPECrate®2017_int_base/W de CPU, 0,124 SPECrate®2017_int_base/dollar de CPU, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU®, et SPECrate® sont des marques déposées de la Standard Performance Evaluation Corporation. Rendez-vous sur www.spec.org pour plus d'informations. TDP du CPU Intel sur https://ark.intel.com/.