¿qué viene después?
Como ya tienen más de 400 récords mundiales, quizás te preguntes cómo AMD puede mejorar los procesadores AMD EPYC™1. ¿Cómo se avanza desde algunos de los procesadores para servidores más potentes que se hayan creado?1 Se logra con la arquitectura “Zen 5” y todos los beneficios que ofrece a los clientes.
Presentamos los procesadores AMD EPYC™ de 5.a generación
Diseñados para el mundo de la IA y las cargas de trabajo empresariales vitales, los procesadores AMD EPYC™ de 5.ª generación ofrecen la próxima generación de CPU para servidores en una familia que ya ha establecido cientos de récords mundiales de eficiencia y rendimiento1. Sobre la base de esa rica historia, los procesadores AMD EPYC™ Serie 9005 permiten un rendimiento innovador, gracias a su arquitectura “Zen 5”.
Gracias a que ofrecen hasta 192 núcleos, 384 subprocesos y frecuencias de turbo de 5 GHz, los clientes pueden esperar que estos nuevos procesadores sean compatibles con prácticamente cualquier necesidad empresarial que puedan imaginar2. No solo ofrecen más núcleos que los productos EPYC de la generación anterior y frecuencias incluso más altas, sino que también son compatibles con la DRAM, que es más rápida, lo que proporciona compatibilidad mejorada con cargas de trabajo dependientes de la memoria.
Los servidores que utilizan procesadores AMD EPYC de 5.ª generación son de fácil acceso, fáciles de implementar y ofrecen rendimiento, densidad y eficiencia de primer nivel, lo que respalda las implementaciones en todo tipo de aplicaciones, desde iniciativas corporativas de habilitación de IA y aplicaciones vitales para el negocio hasta proporcionar compatibilidad con infraestructuras basadas en la nube a gran escala.
Es una línea unificada por la conocida compatibilidad del software x86, que permite a los clientes implementar lo que necesitan, donde lo necesitan, con una ISA común que respalda los negocios diarios sin necesidad de modificaciones importantes al software x86.
Los sistemas basados en el procesador AMD EPYC 9005 serán compatibles con diversas iniciativas, desde la consolidación y la modernización del centro de datos hasta las necesidades de aplicaciones empresariales cada vez más exigentes. Todo ello gracias a la arquitectura “Zen 5” altamente eficiente, una plataforma atractiva diseñada específicamente para adaptarse no solo a las crecientes necesidades de IA dentro del espacio empresarial, sino también para respaldar a las empresas en su objetivo de mejorar la eficiencia energética y frenar la expansión del centro de datos.
Es una CPU para servidores que lo da todo: en rendimiento, en eficiencia y en resultados.
Nro. de modelo |
Núcleos |
Cant. máx. de subprocesos |
Caché L3 (MB) |
TDP predeterminada (W) |
Canales DDR/sistema de capacidad máxima de memoria (2DPC) |
Frecuencia máxima DDR5 (MHz) (1DPC) |
PCIe® de 5.ª generación (carriles) |
Densidad del socket |
9965 |
192 |
384 |
384 |
500 |
12/9 TB |
6000 |
160 |
2 |
9845 |
160 |
320 |
320 |
400 |
12/9 TB |
6000 |
160 |
2 |
9825 |
144 |
288 |
384 |
400 |
12/9 TB |
6000 |
160 |
2 |
9755 |
128 |
256 |
512 |
500 |
12/9 TB |
6000 |
160 |
2 |
9745 |
128 |
256 |
256 |
400 |
12/9 TB |
6000 |
160 |
2 |
9655 |
96 |
192 |
384 |
400 |
12/9 TB |
6000 |
160 |
2 |
9645 |
96 |
192 |
256 |
320 |
12/9 TB |
6000 |
160 |
2 |
9655P |
96 |
192 |
384 |
320 |
12/9 TB |
6000 |
128 |
1 |
9565 |
72 |
144 |
384 |
400 |
12/9 TB |
6000 |
160 |
2 |
9575F |
64 |
128 |
256 |
400 |
12/9 TB |
6000 |
160 |
2 |
9555 |
64 |
128 |
256 |
360 |
12/9 TB |
6000 |
160 |
2 |
9555P |
64 |
128 |
256 |
320 |
12/9 TB |
6000 |
128 |
1 |
9535 |
64 |
128 |
256 |
300 |
12/9 TB |
6000 |
160 |
2 |
9475F |
48 |
96 |
256 |
360 |
12/9 TB |
6000 |
160 |
2 |
9455 |
48 |
96 |
256 |
300 |
12/9 TB |
6000 |
160 |
2 |
9455P |
48 |
96 |
192 |
300 |
12/9 TB |
6000 |
128 |
1 |
9365 |
36 |
72 |
192 |
300 |
12/9 TB |
6000 |
160 |
2 |
9375F |
32 |
64 |
256 |
320 |
12/9 TB |
6000 |
160 |
2 |
9355 |
32 |
64 |
256 |
280 |
12/9 TB |
6000 |
160 |
2 |
9355P |
32 |
64 |
256 |
280 |
12/9 TB |
6000 |
128 |
1 |
9335 |
32 |
64 |
192 |
210 |
12/9 TB |
6000 |
160 |
2 |
9275F |
24 |
48 |
256 |
320 |
12/9 TB |
6000 |
160 |
2 |
9255 |
24 |
48 |
128 |
200 |
12/9 TB |
6000 |
160 |
2 |
9175F |
16 |
32 |
256 |
320 |
12/9 TB |
6000 |
160 |
2 |
9135 |
16 |
32 |
128 |
200 |
12/9 TB |
6000 |
160 |
2 |
9125 |
8 |
16 |
256 |
165 |
12/9 TB |
6000 |
160 |
2 |
9015 |
8 |
16 |
64 |
155 |
12/9 TB |
6000 |
160 |
2 |
Rendimiento: Una imagen clara para los clientes
A medida que la IA juega un papel cada vez más importante en los negocios, los clientes necesitan saber que pueden confiar en su infraestructura de servidores para encargarse de ello, además de sus cargas de trabajo existentes.
Los nuevos procesadores AMD EPYC, como el procesador AMD EPYC™ 9575F, ofrecen mejoras de dos dígitos en el rendimiento de IPC (instruction-per-clock-cycle, instrucción por ciclo de reloj) en comparación con la generación anterior, y el último núcleo “Zen 5” en los procesadores AMD EPYC de 5.ª generación está diseñado para proporcionar mejoras significativas en las cargas de trabajo de ML, HPC y empresariales3.
En comparación con los productos de la competencia, estos nuevos procesadores ayudan a las empresas a lograr resultados increíbles, como el innovador rendimiento de la IA de extremo a extremo en una amplia variedad de casos de uso. Por ejemplo, en la evaluación comparativa TPCx-AI, los servidores 2P con procesadores de 192 núcleos AMD EPYC™ 9965 ofrecen hasta ~3,8 veces más casos de prueba de IA por minuto frente a los servidores 2P con 64 núcleos Intel Xeon Platinum 8592+ en las pruebas de AMD4.
Cuando se usan aceleradores de GPU, dos CPU AMD EPYC 9575F logran hasta un 20 % más de solicitudes de inferencia y un 15 % de ahorro en tiempo de entrenamiento en comparación con dos CPU Intel® Xeon® 8592+ que ejecutan Llama3.15,6.
Si bien el rendimiento es brillante, no significa que se sacrifique la eficiencia; los procesadores AMD EPYC Serie 9005 ofrecen soluciones para servidores con eficiencia energética. De hecho, los servidores 2P que utilizan CPU AMD EPYC 9965 ofrecen un rendimiento de enteros estimado 1,8 veces mayor por vatio de CPU que el de las CPU Intel® Xeon® 8592+7.
Llegó una nueva generación de procesadores AMD EPYC de vanguardia para transformar la forma en que se realiza el trabajo. En la era de la IA, tus clientes no pueden permitirse quedarse atrás. Comunícate con tu representante de AMD o visita AMD.com para obtener más información.
Recursos adicionales
AMD Arena
Mejora tus conocimientos de los productos AMD con capacitaciones sobre AMD Ryzen™ PRO, AMD EPYC™, AMD Instinct™ y mucho más.
Suscríbete
Obtén actualizaciones mensuales sobre los productos, los recursos de capacitación y los webinars “Conoce a los expertos” de AMD más recientes.

Artículos relacionados
Notas al pie
Para obtener una lista completa de los récords mundiales de rendimiento de los procesadores AMD EPYC, visita amd.com/worldrecords.
El aumento máximo en los procesadores AMD EPYC corresponde a la frecuencia máxima que cualquiera de los núcleos del procesador puede alcanzar en condiciones normales de uso en sistemas de servidores. EPYC-018
9xx5-001: Basado en pruebas internas de AMD realizadas al 10/9/2024, mejora de rendimiento de media geométrica (IPC) a frecuencia fija.
- Aumento de 1,170 veces (media geométrica) de la IPC generacional de cargas de trabajo de servidor en la nube y empresarial de CPU EPYC de 5.ª generación con el uso de un conjunto selecto de 36 cargas de trabajo, y es la media geométrica de las puntuaciones estimadas para el total y todos los subconjuntos de SPECrate®2017_int_base (media geométrica), las puntuaciones estimadas para el total y todos los subconjuntos de SPECrate®2017_fp_base (media geométrica), las puntuaciones de operaciones máximas por segundo de múltiples instancias de Java del lado del servidor, las cargas de trabajo de servidor en la nube representativas (media geométrica) y las cargas de trabajo de servidor empresarial representativas (media geométrica).
Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps;
Configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps
Utilizando el determinismo de rendimiento y el regulador de rendimiento en el sistema operativo Ubuntu® 22.04 con kernel 6.8.0-40-generic para todas las cargas de trabajo.
- Aumento de 1,369 veces (media geométrica) de la IPC de cargas de trabajo de servidor de ML/HPC generacional de EPYC de 5.ª generación con el uso de un conjunto selecto de 24 cargas de trabajo, y es la media geométrica de las cargas de trabajo de servidor de ML representativas (media geométrica) y las cargas de trabajo de servidor de HPC representativas (media geométrica).
Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps;
Configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps
Utilizando el determinismo de rendimiento y el regulador de rendimiento en el sistema operativo Ubuntu 22.04 con kernel 6.8.0-40-generic para todas las cargas de trabajo, excepto LAMMPS, HPCG, NAMD, OpenFOAM y Gromacs, que utilizan la versión 24.04 con kernel 6.8.0-40-generic.
SPEC® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Obtén más información en spec.org.
- 9xx5-012: Resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA de extremo a extremo adicional se deriva de la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.
- 9xx5-014: Resultados de rendimiento de inferencias de Llama3.1-70B basados en pruebas internas de AMD realizadas al 1/9/2024.
Configuraciones de Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configuraciones de tokens de entrada/salida (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados en tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Tamaño de lote de tokens de E/S, EMR relativo de Turin
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para un aumento de rendimiento promedio de 1,197 veces.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-015: Resultados de las pruebas de entrenamiento de Llama3.1-8B (BF16, longitud máxima de secuencia de 1024) basados en pruebas internas de AMD realizadas al 5/9/2024.
Configuraciones de Llama3.1-8B: Longitud máxima de secuencia de 1024, BF16, Docker: huggingface/transformers-pytorch-gpu:latest
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
Para 31,79 muestras de entrenamiento por segundo
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Para 27,74 muestras de entrenamiento por segundo
Para un aumento del rendimiento promedio de 1,146.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
9xx5-002a: Comparación de SPECrate®2017_int_base basada en mediciones de AMD internas estimadas de plataformas de referencia y los puntajes publicados en www.spec.org al 5/9/2024.
Comparación de 2P AMD EPYC 9965 (2870 estimado SPECrate®2017_int_base, 384 núcleos totales, 500 W de TDP) 24 2Rx4 PC5-6400B-R de 64 GB funcionando a 6000 MT/s de 1,5 TB, NVMe de 3,84 TB, Ubuntu® 24.04 LTS con kernel 6.8.30-41-generic, AOCC v5.0.0, 5,740 estimado SPECrate®2017_int_base/CPU W)
2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 núcleos totales, 350 W de TDP) 3,229 SPECrate®2017_int_base/CPU W, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html)
EPYC 9965 frente a 8592+
- 2,540 veces más rendimiento estimado
- 1,778 veces más rendimiento/CPU W estimado
Publicado 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 núcleos totales, 360 W de TDP) 5,417 SPECrate®2017_int_base/CPU W, http://spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html)
EPYC 9754 frente a 8592+
- 1,725 veces más rendimiento
- 1,678 veces más rendimiento/CPU W
Generacional (EPYC 9965 frente a EPYC 9754)
- tiene 1,472 veces más de rendimiento
- a 1,060 veces más rendimiento/CPU W
SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP de CPU Intel en https://ark.intel.com/.
Para obtener una lista completa de los récords mundiales de rendimiento de los procesadores AMD EPYC, visita amd.com/worldrecords.
El aumento máximo en los procesadores AMD EPYC corresponde a la frecuencia máxima que cualquiera de los núcleos del procesador puede alcanzar en condiciones normales de uso en sistemas de servidores. EPYC-018
9xx5-001: Basado en pruebas internas de AMD realizadas al 10/9/2024, mejora de rendimiento de media geométrica (IPC) a frecuencia fija.
- 9xx5-012: Resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA de extremo a extremo adicional se deriva de la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
- 9xx5-014: Resultados de rendimiento de inferencias de Llama3.1-70B basados en pruebas internas de AMD realizadas al 1/9/2024.
- 9xx5-015: Resultados de las pruebas de entrenamiento de Llama3.1-8B (BF16, longitud máxima de secuencia de 1024) basados en pruebas internas de AMD realizadas al 5/9/2024.
9xx5-002a: Comparación de SPECrate®2017_int_base basada en mediciones de AMD internas estimadas de plataformas de referencia y los puntajes publicados en www.spec.org al 5/9/2024.
- Aumento de 1,170 veces (media geométrica) de la IPC generacional de cargas de trabajo de servidor en la nube y empresarial de CPU EPYC de 5.ª generación con el uso de un conjunto selecto de 36 cargas de trabajo, y es la media geométrica de las puntuaciones estimadas para el total y todos los subconjuntos de SPECrate®2017_int_base (media geométrica), las puntuaciones estimadas para el total y todos los subconjuntos de SPECrate®2017_fp_base (media geométrica), las puntuaciones de operaciones máximas por segundo de múltiples instancias de Java del lado del servidor, las cargas de trabajo de servidor en la nube representativas (media geométrica) y las cargas de trabajo de servidor empresarial representativas (media geométrica).
Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps;
Configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps
Utilizando el determinismo de rendimiento y el regulador de rendimiento en el sistema operativo Ubuntu® 22.04 con kernel 6.8.0-40-generic para todas las cargas de trabajo.
- Aumento de 1,369 veces (media geométrica) de la IPC de cargas de trabajo de servidor de ML/HPC generacional de EPYC de 5.ª generación con el uso de un conjunto selecto de 24 cargas de trabajo, y es la media geométrica de las cargas de trabajo de servidor de ML representativas (media geométrica) y las cargas de trabajo de servidor de HPC representativas (media geométrica).
Configuración “Genoa” (todo NPS1): EPYC 9654 BIOS TQZ1005D 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-4800 (2Rx4 de 64 GB), xGMI de 32 Gbps;
Configuración “Turin” (todo NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (1c1t/CCD en 12+1), FF de 3 GHz, 12 DDR5-6000 (2Rx4 de 64 GB), xGMI de 32 Gbps
Utilizando el determinismo de rendimiento y el regulador de rendimiento en el sistema operativo Ubuntu 22.04 con kernel 6.8.0-40-generic para todas las cargas de trabajo, excepto LAMMPS, HPCG, NAMD, OpenFOAM y Gromacs, que utilizan la versión 24.04 con kernel 6.8.0-40-generic.
SPEC® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Obtén más información en spec.org.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.
Configuraciones de Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configuraciones de tokens de entrada/salida (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados en tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Tamaño de lote de tokens de E/S, EMR relativo de Turin
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para un aumento de rendimiento promedio de 1,197 veces.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
Configuraciones de Llama3.1-8B: Longitud máxima de secuencia de 1024, BF16, Docker: huggingface/transformers-pytorch-gpu:latest
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
Para 31,79 muestras de entrenamiento por segundo
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Para 27,74 muestras de entrenamiento por segundo
Para un aumento del rendimiento promedio de 1,146.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
Comparación de 2P AMD EPYC 9965 (2870 estimado SPECrate®2017_int_base, 384 núcleos totales, 500 W de TDP) 24 2Rx4 PC5-6400B-R de 64 GB funcionando a 6000 MT/s de 1,5 TB, NVMe de 3,84 TB, Ubuntu® 24.04 LTS con kernel 6.8.30-41-generic, AOCC v5.0.0, 5,740 estimado SPECrate®2017_int_base/CPU W)
2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 núcleos totales, 350 W de TDP) 3,229 SPECrate®2017_int_base/CPU W, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html)
EPYC 9965 frente a 8592+
- 2,540 veces más rendimiento estimado
- 1,778 veces más rendimiento/CPU W estimado
Publicado 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 núcleos totales, 360 W de TDP) 5,417 SPECrate®2017_int_base/CPU W, http://spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html)
EPYC 9754 frente a 8592+
- 1,725 veces más rendimiento
- 1,678 veces más rendimiento/CPU W
Generacional (EPYC 9965 frente a EPYC 9754)
- tiene 1,472 veces más de rendimiento
- a 1,060 veces más rendimiento/CPU W
SPEC®, SPEC CPU® y SPECrate® son marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP de CPU Intel en https://ark.intel.com/.