Resumos de desempenho e documentação técnica
Encontre os recursos técnicos necessários para desenvolver sua infraestrutura com os processadores AMD EPYC 9005
Apresentando os processadores AMD EPYC de 5ª geração
Criado para acelerar cargas de trabalho de data center, nuvem e IA; a série de processadores AMD EPYC 9005 está impulsionando novos níveis de desempenho de computação empresarial.
A melhor CPU para IA1
Os processadores AMD EPYC™ 9005 fornecem desempenho de IA de ponta a ponta.
Maximizando o desempenho por servidor
O AMD EPYC™ 9005 pode combinar o desempenho inteiro do hardware legado com até 86% menos racks2, reduzindo drasticamente o espaço físico ocupado, o consumo de energia e a quantidade de licenças de software necessárias, liberando espaço para cargas de trabalho de IA novas ou expandidas.
Liderança no desempenho de AI Inference
Muitas cargas de trabalho de IA: modelos de linguagem com até 13 bilhões de parâmetros, análise de imagem e fraude ou sistemas de recomendação são executados de forma eficiente em servidores apenas de CPU que possuem CPUs AMD EPYC™ 9005. Os servidores que executam duas CPUs AMD EPYC 9965 de 5ª geração oferecem até o dobro da produtividade de inferência em comparação com as ofertas das gerações anteriores.3
Maximizando a aceleração da GPU
A família AMD EPYC™ 9005 inclui opções otimizadas para serem CPUs host de sistemas habilitados para GPU, a fim de ajudar a aumentar o desempenho em cargas de trabalho de IA selecionadas e melhorar o ROI de cada servidor de GPU. Por exemplo, um servidor com a tecnologia do processador AMD EPYC 9575F de alta frequência com oito GPUs oferece desempenho de sistema até 20% maior do que um servidor com processadores Intel Xeon 8592+ como CPU host com as mesmas oito GPUs executando Llama3.1-70B.4
Saiba como os processadores AMD EPYC da 5a geração ajudam a impulsionar a eficiência e o desempenho da IA em todo o data center. Da criação de espaço e energia em seu data center à execução de inferência diretamente na CPU e à melhoria do desempenho nas GPUs, os processadores AMD EPYC levam a IA empresarial a novos patamares
Desempenho empresarial otimizado
Os processadores AMD EPYC 9005 entregam desempenho excepcional e são líderes em eficiência de energia e valor do custo total de propriedade (TCO) para atender às principais exigências dos negócios.
Desempenho inteiro líder do setor
Os servidores com tecnologia de CPU AMD EPYC 9005 aproveitam os novos núcleos "Zen 5" para oferecer métricas de desempenho convencional atrativas, como 2,7 vezes mais desempenho inteiro, quando comparados com as principais ofertas da concorrência.5
Criados para a nuvem
Os processadores AMD EPYC™ 9005 fornecem densidade e desempenho para cargas de trabalho na nuvem. Com 192 núcleos, o processador de primeira linha AMD EPYC 9965 é compatível com 33% mais CPUs virtuais (vCPUs) do que o principal processador disponível Intel® Xeon 6E "Sierra Forest" com 144 núcleos (1 núcleo por vCPU).
Liderança em eficiência e TCO
Os data centers estão exigindo mais energia do que nunca. Os processadores AMD EPYC™ 9005 continuam a fornecer os benefícios de eficiência de energia e TCO encontrados nas gerações anteriores do AMD EPYC.
Liderança em desempenho, densidade e eficiência
Os processadores AMD EPYC Série 9005 incluem até 192 núcleos "Zen 5" ou "Zen 5c" com largura de banda e capacidade de memória excepcionais. A inovadora arquitetura de chiplet AMD possibilita soluções de alto desempenho e eficientes em termos de energia, otimizadas para atender às suas diferentes necessidades de computação.
"Zen 5"
"Zen 5c"
Ampla compatibilidade de ecossistema, confiado por líderes do setor
A AMD trabalha em parceria com uma ampla rede de provedores de soluções com processadores AMD EPYC™ 9005. Empresas e organizações governamentais em todo o mundo escolhem a AMD para suas cargas de trabalho mais importantes.
Especificações do modelo
Recursos
Notas de rodapé
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council.
- 9xx5TCO-001B: Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (custo total de propriedade) de servidor AMD e emissões de gases de efeito estufa – versão 1.12 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um TOTAL_PERFORMANCE de 39.100 unidades de desempenho SPECrate2017_int_base em 10 de outubro de 2024. Esse cenário compara um servidor legado 2P Intel Xeon de 28 núcleos Platinum_8280 com uma pontuação de 391 com um servidor com tecnologia 2P EPYC 9965 (192 núcleos) com uma pontuação de 3.000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf), juntamente a um upgrade de comparação para um servidor 2P Intel Xeon Platinum 8592+ (64 núcleos) com uma pontuação de 1.130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). A pontuação real do SPECrate®2017_int_base para o EPYC 9965 2P varia de acordo com as publicações do OEM. As estimativas de impacto ambiental foram feitas com base nesses dados, usando os fatores de eletricidade específicos do país/região de "International Country Specific Electricity Factors 10" de 2024, em julho de 2024, e a Calculadora de Equivalências de Gás de Efeito Estufa ("Greenhouse Gas Equivalencies Calculator") da Agência de Proteção Ambiental dos Estados Unidos ("United States Environmental Protection Agency").
- 9xx5-040A: resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 05/09/2024. Configurações do XGBoost: v2.2.1, conjunto de dados Higgs, instâncias de 32 núcleos, FP32 2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT= desativado, Determinismo = potência, Turbo Boost = ativado), NPS=1 2P AMD EPYC 9755 (256 núcleos totais), DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT= desativado, Determinismo = potência, Turbo Boost = ativado), NPS=1 2P AMD EPYC 9654 (192 núcleos totais), DDR5-4800 de 1,5 TB 24x64GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe® de 1,92 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT= desativado, Determinismo = potência), NPS=1, em comparação com o 2P Xeon Platinum 8592+ (128 núcleos totais), AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe® de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT= desativado, Determinismo = potência, Turbo Boost = ativado) Resultados: produtividade relativa mediana da CPU Run 1 Run 2 Run 3 entre gerações 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA. Os resultados podem variar de acordo com fatores que incluem configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-014: resultados da produtividade da inferência do Llama3.1-70B com base em testes internos da AMD em 01/09/2024.
Configurações do Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configurações do token de entrada/saída (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados em tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totais) com 8x NVIDIA H100 80 GB HBM3, DDR5-6000 de 1,5 TB 24x64 GB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps 3 TB, BIOS T20240805173113 (Determinismo = potência, SR-IOV = ativado), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totais) com 8x NVIDIA H100 80 GB HBM3, DDR5-5600 de 1 TB 16x64 GB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (desempenho máximo, SR-IOV = ativado),
Tokens de E/S Tamanho do lote EMR Turin Relativo
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para um aumento médio da produtividade de 1,197x.
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS.
- 9xx5-002D: comparação de SPECrate®2017_int_base baseada nas pontuações publicadas em www.spec.org em 10/10/2024. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 núcleos totais, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 núcleos totais, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 núcleos totais, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 núcleos totais, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 núcleos totais, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 núcleos totais, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. Intel CPU TDP em https://ark.intel.com/.
Notas de rodapé
- 9xx5-012: resultados de produtividade do TPCxAI SF30 com tamanho de instância de 32 núcleos de várias instâncias, com base em testes internos da AMD em 05/09/2024 executando várias instâncias de VM. O teste de produtividade de IA de ponta a ponta agregado é derivado da avaliação de desempenho TPCx-AI e, como tal, não é comparável aos resultados publicados do TPCx-AI, já que os resultados de teste de produtividade de IA de ponta a ponta não estão em conformidade com a especificação do TPCx-AI.
2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9755 (256 núcleos totais), 8 instâncias de 32 núcleos, NPS1, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
2P AMD EPYC 9654 (192 núcleos totais), 6 instâncias de 32 núcleos, NPS1, DDR5-4800 de 1,5 TB 24x64 GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe de 1,92 TB, Ubuntu 22.04.3 LTS, BIOS 1006C (SMT = desativado, Determinismo = potência)
Versus 2P Xeon Platinum 8592+ (128 núcleos totais), 4 instâncias de 32 núcleos, AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT = desativado, Determinismo = potência, Turbo Boost = ativado)
Resultados:
CPU média relativa entre gerações
Turin de 192 núcleos, 12 instâncias 6067.531 3.775 2.278
Turin de 128 núcleos, 8 instâncias 4091.85 2.546 1.536
Genoa de 96 núcleos, 6 instâncias 2663.14 1.657 1
EMR de 64 núcleos, 4 instâncias 1607.417 1 NA
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. TPC, TPC Benchmark e a TPC-C são marcas comerciais do Transaction Processing Performance Council. - 9xx5TCO-001B: Este cenário contém muitas suposições e estimativas e, embora seja baseado nas pesquisas internas da AMD e nas melhores aproximações, deve ser considerado um exemplo apenas para fins informativos e não deve ser usado como base para a tomada de decisões em vez dos testes reais. A ferramenta de estimativa de TCO (custo total de propriedade) de servidor AMD e emissões de gases de efeito estufa – versão 1.12 compara as soluções de servidor selecionadas baseadas em CPUs AMD EPYC™ e Intel® Xeon® necessárias para fornecer um TOTAL_PERFORMANCE de 39.100 unidades de desempenho SPECrate2017_int_base em 10 de outubro de 2024. Esse cenário compara um servidor legado 2P Intel Xeon de 28 núcleos Platinum_8280 com uma pontuação de 391 com um servidor com tecnologia 2P EPYC 9965 (192 núcleos) com uma pontuação de 3.000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf), juntamente a um upgrade de comparação para um servidor 2P Intel Xeon Platinum 8592+ (64 núcleos) com uma pontuação de 1.130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). A pontuação real do SPECrate®2017_int_base para o EPYC 9965 2P varia de acordo com as publicações do OEM. As estimativas de impacto ambiental foram feitas com base nesses dados, usando os fatores de eletricidade específicos do país/região de "International Country Specific Electricity Factors 10" de 2024, em julho de 2024, e a Calculadora de Equivalências de Gás de Efeito Estufa ("Greenhouse Gas Equivalencies Calculator") da Agência de Proteção Ambiental dos Estados Unidos ("United States Environmental Protection Agency").
- 9xx5-040A: resultados de produtividade (execuções/hora) do XGBoost com base em testes internos da AMD em 05/09/2024. Configurações do XGBoost: v2.2.1, conjunto de dados Higgs, instâncias de 32 núcleos, FP32 2P AMD EPYC 9965 (384 núcleos totais), 12 instâncias de 32 núcleos, DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C (SMT= desativado, Determinismo = potência, Turbo Boost = ativado), NPS=1 2P AMD EPYC 9755 (256 núcleos totais), DDR5-6400 de 1,5 TB 24x64 GB (a 6000 MT/s), 1DPC, NetXtreme BCM5720 Gigabit Ethernet PCIe de 1,0 Gbps, Samsung MZWLO3T8HCLS-00A07 NVMe® de 3,5 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F (SMT= desativado, Determinismo = potência, Turbo Boost = ativado), NPS=1 2P AMD EPYC 9654 (192 núcleos totais), DDR5-4800 de 1,5 TB 24x64GB, 1DPC, 2 Samsung MZQL21T9HCJR-00A07 NVMe® de 1,92 TB, Ubuntu 22.04.4 LTS, 6.8.0-40-generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA (SMT= desativado, Determinismo = potência), NPS=1, em comparação com o 2P Xeon Platinum 8592+ (128 núcleos totais), AMX ativado, DDR5-5600 de 1 TB 16x64 GB, 1DPC, NetXtreme BCM5719 Gigabit Ethernet PCIe de 1,0 Gbps, KIOXIA KCMYXRUG3T84 NVMe® de 3,84 TB, Ubuntu 22.04.4 LTS, 6.5.0-35 generic (desempenho de produtividade de perfil tuned-adm, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V (SMT= desativado, Determinismo = potência, Turbo Boost = ativado) Resultados: produtividade relativa mediana da CPU Run 1 Run 2 Run 3 entre gerações 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA. Os resultados podem variar de acordo com fatores que incluem configurações do sistema, versões de software e configurações do BIOS.
- 9xx5-014: resultados da produtividade da inferência do Llama3.1-70B com base em testes internos da AMD em 01/09/2024.
Configurações do Llama3.1-70B: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, configurações do token de entrada/saída (casos de uso): [BS=1024 E/S=128/128, BS=1024 E/S=128/2048, BS=96 E/S=2048/128, BS=64 E/S=2048/2048]. Resultados em tokens/segundo.
2P AMD EPYC 9575F (128 núcleos totais) com 8x NVIDIA H100 80 GB HBM3, DDR5-6000 de 1,5 TB 24x64 GB, Micron_9300_MTFDHAL3T8TDP NVMe® de 1,0 Gbps 3 TB, BIOS T20240805173113 (Determinismo = potência, SR-IOV = ativado), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic (mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P Intel Xeon Platinum 8592+ (128 núcleos totais) com 8x NVIDIA H100 80 GB HBM3, DDR5-5600 de 1 TB 16x64 GB, Dell Ent NVMe® PM1735a MU de 3,2 TB, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic, (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=off, cpupower frequency-set -g performance), BIOS 2.1, (desempenho máximo, SR-IOV = ativado),
Tokens de E/S Tamanho do lote EMR Turin Relativo
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
Para um aumento médio da produtividade de 1,197x.
Os resultados podem variar devido a fatores como configuração do sistema, versões de software e configurações do BIOS. - 9xx5-002D: comparação de SPECrate®2017_int_base baseada nas pontuações publicadas em www.spec.org em 10/10/2024. 2P AMD EPYC 9965 (3000 SPECrate®2017_int_base, 384 núcleos totais, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 núcleos totais, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 núcleos totais, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 núcleos totais, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 núcleos totais, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 núcleos totais, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® e SPECrate® são marcas registradas da Standard Performance Evaluation Corporation. Consulte www.spec.org para obter mais informações. Intel CPU TDP em https://ark.intel.com/.