Resúmenes de rendimiento y documentos técnicos
Encuentra los recursos técnicos que necesitas para crear tu infraestructura con procesadores AMD EPYC 9005.
Presentamos los procesadores AMD EPYC de 5.ª generación
Los procesadores AMD EPYC Serie 9005, diseñados especialmente para acelerar las cargas de trabajo del centro de datos, la nube y la IA, están impulsando nuevos niveles de rendimiento informático empresarial.
La CPU líder para la IA1
Los procesadores AMD EPYC™ 9005 proporcionan un rendimiento de IA integral.
Maximización del rendimiento por servidor
AMD EPYC™ 9005 puede igualar el rendimiento de enteros del hardware heredado con hasta un 86 % menos de bastidores2, lo que reduce drásticamente el espacio ocupado, el consumo energético y la cantidad de licencias de software necesarias, y así se libera espacio para cargas de trabajo de IA nuevas o expandidas.
Rendimiento de AI Inference de primer nivel
Muchas cargas de trabajo de IA: modelos de lenguaje con 13 000 millones de parámetros y menos, análisis de imágenes y fraude o sistemas de recomendación, funcionan de manera eficiente en servidores de solo CPU que presentan las CPU AMD EPYC™ 9005. Los servidores que usan dos CPU AMD EPYC 9965 de 5.ª generación ofrecen un rendimiento de inferencia hasta 2 veces mayor en comparación con las ofertas de la generación anterior3.
Maximización de la aceleración de GPU
La familia AMD EPYC™ 9005 incluye opciones optimizadas a fin de ser CPU host para sistemas con tecnología de GPU, a fin de aumentar el rendimiento en determinadas cargas de trabajo de IA y mejorar el ROI de cada servidor de GPU. Por ejemplo, un servidor con tecnología de procesador AMD EPYC 9575F de alta frecuencia con ocho GPU ofrece hasta un 20 % más de rendimiento del sistema que un servidor con procesadores Intel Xeon 8592+ como CPU host con las mismas ocho GPU ejecutando Llama3.1-70B4.
Descubre cómo los procesadores AMD EPYC de 5.a generación ayudan a impulsar la eficiencia y el rendimiento de la IA en todo el centro de datos. Desde la creación de espacio y potencia en el centro de datos hasta la ejecución de inferencias directamente en la CPU o la mejora del rendimiento en las GPU, los procesadores AMD EPYC llevan la IA empresarial a nuevas dimensiones
Rendimiento empresarial optimizado
Los procesadores AMD EPYC 9005 ofrecen rendimiento excepcional, a la vez que permiten una eficiencia energética de primer nivel y un valor del costo de propiedad (TCO) compatibles con las exigencias empresariales imprescindibles.
Rendimiento de enteros líder en la industria
Los servidores con CPU AMD EPYC 9005 aprovechan los nuevos núcleos “Zen 5” para ofrecer atractivas métricas de rendimiento estándar, incluido un rendimiento de enteros 2,7 veces mayor en comparación con las mejores ofertas competitivas5.
Diseñados para la nube
Los procesadores AMD EPYC™ 9005 proporcionan densidad y rendimiento para las cargas de trabajo en la nube. Con 192 núcleos, el procesador AMD EPYC 9965 de primer nivel será compatible con un 33 % más de CPU virtuales (vCPU) que el procesador líder disponible Intel® Xeon 6E “Sierra Forest” de 144 núcleos (1 núcleo por vCPU).
Eficiencia y TCO de primer nivel
Los centros de datos exigen más energía que nunca. Los procesadores AMD EPYC™ 9005 siguen proporcionando la eficiencia energética y los beneficios de TCO de las generaciones anteriores de AMD EPYC.
Eficiencia, densidad y rendimiento de primer nivel
Los procesadores AMD EPYC Serie 9005 incluyen hasta 192 núcleos “Zen 5” o “Zen 5c” con capacidad y ancho de banda de memoria excepcionales. La innovadora arquitectura de chiplet de AMD permite soluciones optimizadas de alto rendimiento y de bajo consumo energético para tus diferentes necesidades informáticas.
“Zen 5”
“Zen 5c”
Amplia compatibilidad con ecosistemas, con la confianza de los líderes de la industria
AMD colabora con una amplia red de proveedores de soluciones que presentan procesadores AMD EPYC™ 9005. Las empresas y organizaciones gubernamentales de todo el mundo eligen AMD para sus cargas de trabajo más importantes.
Especificaciones del modelo
Recursos
Notas al pie
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council.
- 9xx5TCO-001B: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.12, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 39 100 unidades de rendimiento SPECrate2017_int_base al 10 de octubre del 2024. Esta estimación compara un servidor heredado basado en 2P Intel Xeon Platinum 8280 de 28 núcleos con un puntaje de 391 frente a un servidor con tecnología 2P EPYC 9965 (de 192 núcleos) con un puntaje de 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) junto con una actualización comparativa a un servidor basado en 2P Intel Xeon Platinum 8592+ (de 64 núcleos) con un puntaje de 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). El puntaje real de SPECrate® 2017_int_base para 2P EPYC 9965 variará según las publicaciones del OEM (Original Equipment Manufacturer, fabricante de equipo original). Estimaciones de impacto ambiental realizadas aprovechando estos datos, mediante los factores de electricidad correspondientes al país o la región que se especifican en 2024 International Country Specific Electricity Factors 10 – July 2024 , y en la Calculadora de equivalencias de gases de efecto invernadero (Greenhouse Gas Equivalencies Calculator) de la Agencia de Protección Medioambiental de los Estados Unidos.
- 9xx5-040A: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 5/9/2024. Configuraciones de XGBoost: v2.2.1, conjunto de datos de Higgs, instancias de 32 núcleos, FP32 2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755 (256 núcleos totales), 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654 (192 núcleos totales), 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe® de 1,92 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT=off, Determinism=Power), NPS=1 en comparación con 2P Xeon Platinum 8592+ (128 núcleos totales), AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, 1,0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, KIOXIA KCMYXRUG3T84 NVMe® de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) Resultados: CPU Ejecución 1 Ejecución 2 Ejecución 3 Rendimiento relativo medio generacional 2P Turin 192C, NPS1 1565,217 1537,367 1553,957 1553,957 3 2,41 2P Turin 128C, NPS1 1103,448 1138,34 1111,969 1111,969 2,147 1,725 2P Genoa 96C, NPS1 662,577 644,776 640,95 644,776 1,245 1 2P EMR 64C 517,986 421,053 553,846 517,986 1 NA Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-014: resultados de rendimiento de inferencias de Llama3.1-70B basados en pruebas internas de AMD realizadas al 1/9/2024.
Configuraciones de Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configuraciones de tokens de entrada/salida (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados en tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho NVIDIA H100 de 80 GB HBM3, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance ), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Tamaño de lote de tokens de E/S, EMR relativo de Turin
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para un aumento de rendimiento promedio de 1,197 veces.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-002D: comparación de SPECrate® 2017_int_base basada en los puntajes publicados en www.spec.org al 10/10/24. 2P AMD EPYC 9965 (3000 SPECrate® 2017_int_base, 384 núcleos totales, 500 W TDP, $14 813 CPU $), 6,060 SPECrate® 2017_int_base/CPU W, 0,205 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate® 2017_int_base, 256 núcleos totales, 500 W TDP, $12 984 CPU $), 5,440 SPECrate® 2017_int_base/CPU W, 0,209 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate® 2017_int_base, 256 núcleos totales, 360 W TDP, $11 900 CPU $), 5,417 SPECrate® 2017_int_base/CPU W, 0,164 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate® 2017_int_base, 192 núcleos totales, 360 W TDP, $11 805 CPU $), 5,028 SPECrate® 2017_int_base/CPU W, 0,153 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate® 2017_int_base, 128 núcleos totales, 350 W TDP, $11 600 CPU $) 3,229 SPECrate® 2017_int_base/CPU W, 0,097 SPECrate® 2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate® 2017_int_base, 288 núcleos totales, 330 W TDP, $11 350 CPU $) 4,273 SPECrate® 2017_int_base/CPU W, 0,124 SPECrate® 2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU®, y SPECrate® con marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP de CPU Intel en https://ark.intel.com/.
Notas al pie
- 9xx5-012: resultados de rendimiento de tamaño de instancia de TPCxAI @SF30 de instancia múltiple y 32 núcleos con base en pruebas internas de AMD realizadas al 5/9/2024, ejecutando múltiples instancias de VM. La prueba de rendimiento de IA integral adicional se deriva la evaluación comparativa TPCx-AI y, como tal, no es comparable con los resultados publicados de TPCx-AI, ya que los resultados de la prueba de rendimiento de IA de extremo a extremo no cumplen con la especificación TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755 (256 núcleos totales), ocho instancias de 32 núcleos, NPS1, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (perfil tuned-adm throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654 (192 núcleos totales), seis instancias de 32 núcleos, NPS1, 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT=off, Determinism=Power)
Frente a 2P Xeon Platinum 8592+ (128 núcleos totales), cuatro instancias de 32 núcleos, AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (perfil tuned-adm throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=Off, Determinism=Power, Turbo Boost=Enabled)
Resultados:
Mediana relativa generacional de CPU
Turin de 192 núcleos, 12 instancias 6067.531 3.775 2.278
Turin de 128 núcleos, ocho instancias 4091.85 2.546 1.536
Genoa de 96 núcleos, seis instancias 2663.14 1.657 1
EMR de 64 núcleos, cuatro instancias 1607.417 1 NA
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. TPC, TPC Benchmark y TPC-C son marcas comerciales de Transaction Processing Performance Council. - 9xx5TCO-001B: Este caso contiene muchas suposiciones y estimaciones y, si bien se basa en la investigación interna de AMD y en las mejores aproximaciones, debe considerarse solo como un ejemplo a título informativo y no usarse como base para la toma de decisiones por sobre las pruebas reales. La herramienta AMD Server & Greenhouse Gas Emissions TCO (costo total de propiedad) Estimator Tool, versión 1.12, compara las soluciones de servidor basadas en CPU AMD EPYC™ e Intel® Xeon® seleccionadas que son necesarias para ofrecer un TOTAL_PERFORMANCE de 39 100 unidades de rendimiento SPECrate2017_int_base al 10 de octubre del 2024. Esta estimación compara un servidor heredado basado en 2P Intel Xeon Platinum 8280 de 28 núcleos con un puntaje de 391 frente a un servidor con tecnología 2P EPYC 9965 (de 192 núcleos) con un puntaje de 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) junto con una actualización comparativa a un servidor basado en 2P Intel Xeon Platinum 8592+ (de 64 núcleos) con un puntaje de 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). El puntaje real de SPECrate® 2017_int_base para 2P EPYC 9965 variará según las publicaciones del OEM (Original Equipment Manufacturer, fabricante de equipo original). Estimaciones de impacto ambiental realizadas aprovechando estos datos, mediante los factores de electricidad correspondientes al país o la región que se especifican en 2024 International Country Specific Electricity Factors 10 – July 2024 , y en la Calculadora de equivalencias de gases de efecto invernadero (Greenhouse Gas Equivalencies Calculator) de la Agencia de Protección Medioambiental de los Estados Unidos.
- 9xx5-040A: resultados de rendimiento de XGBoost (ejecuciones/hora) basados en pruebas internas de AMD realizadas al 5/9/2024. Configuraciones de XGBoost: v2.2.1, conjunto de datos de Higgs, instancias de 32 núcleos, FP32 2P AMD EPYC 9965 (384 núcleos totales), 12 instancias de 32 núcleos, 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755 (256 núcleos totales), 24 DDR5-6400 de 64 GB (a 6000 MT/s) de 1,5 TB, 1DPC, 1,0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe, 3,5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654 (192 núcleos totales), 24 DDR5-4800 de 64 GB de 1,5 TB, 1DPC, dos Samsung MZQL21T9HCJR-00A07 NVMe® de 1,92 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT=off, Determinism=Power), NPS=1 en comparación con 2P Xeon Platinum 8592+ (128 núcleos totales), AMX activado, 16 DDR5-5600 de 64 GB de 1 TB, 1DPC, 1,0 Gbps NetXtreme BCM5719 Gigabit Ethernet PCIe, KIOXIA KCMYXRUG3T84 NVMe® de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35-generic (tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT=off, Determinism=Power, Turbo Boost = Enabled) Resultados: CPU Ejecución 1 Ejecución 2 Ejecución 3 Rendimiento relativo medio generacional 2P Turin 192C, NPS1 1565,217 1537,367 1553,957 1553,957 3 2,41 2P Turin 128C, NPS1 1103,448 1138,34 1111,969 1111,969 2,147 1,725 2P Genoa 96C, NPS1 662,577 644,776 640,95 644,776 1,245 1 2P EMR 64C 517,986 421,053 553,846 517,986 1 NA Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS.
- 9xx5-014: resultados de rendimiento de inferencias de Llama3.1-70B basados en pruebas internas de AMD realizadas al 1/9/2024.
Configuraciones de Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configuraciones de tokens de entrada/salida (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados en tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totales) con ocho HBM3 NVIDIA H100 de 80 GB, 24 DDR5-6000 de 64 GB de 1,5 TB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps y 3 TB, BIOS T20240805173113 (Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totales) con ocho NVIDIA H100 de 80 GB HBM3, 16 DDR5-5600 de 64 GB de 1 TB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance ), BIOS 2.1, (rendimiento máximo, SR-IOV=On),
Tamaño de lote de tokens de E/S, EMR relativo de Turin
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para un aumento de rendimiento promedio de 1,197 veces.
Los resultados pueden variar debido a factores como las configuraciones del sistema, las versiones de software y la configuración del BIOS. - 9xx5-002D: comparación de SPECrate® 2017_int_base basada en los puntajes publicados en www.spec.org al 10/10/24. 2P AMD EPYC 9965 (3000 SPECrate® 2017_int_base, 384 núcleos totales, 500 W TDP, $14 813 CPU $), 6,060 SPECrate® 2017_int_base/CPU W, 0,205 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate® 2017_int_base, 256 núcleos totales, 500 W TDP, $12 984 CPU $), 5,440 SPECrate® 2017_int_base/CPU W, 0,209 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate® 2017_int_base, 256 núcleos totales, 360 W TDP, $11 900 CPU $), 5,417 SPECrate® 2017_int_base/CPU W, 0,164 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate® 2017_int_base, 192 núcleos totales, 360 W TDP, $11 805 CPU $), 5,028 SPECrate® 2017_int_base/CPU W, 0,153 SPECrate® 2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate® 2017_int_base, 128 núcleos totales, 350 W TDP, $11 600 CPU $) 3,229 SPECrate® 2017_int_base/CPU W, 0,097 SPECrate® 2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate® 2017_int_base, 288 núcleos totales, 330 W TDP, $11 350 CPU $) 4,273 SPECrate® 2017_int_base/CPU W, 0,124 SPECrate® 2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU®, y SPECrate® con marcas comerciales registradas de Standard Performance Evaluation Corporation. Consulta www.spec.org para obtener más información. TDP de CPU Intel en https://ark.intel.com/.