5세대 AMD EPYC 프로세서 소개
데이터 센터, 클라우드, AI 워크로드를 가속화하기 위해 특별히 제작된 AMD EPYC 9005 시리즈 프로세서는 새로운 차원의 엔터프라이즈 컴퓨팅 성능을 제공합니다.
AI를 위한 선도적인 CPU1
AMD EPYC™ 9005 프로세서는 종합적인 AI 성능을 제공합니다.
서버당 성능 극대화
AMD EPYC™ 9005는 최대 86% 적은 랙으로 레거시 하드웨어의 정수 성능을 구현할 수 있으므로2 물리적 설치 공간, 전력 소비 및 필요한 소프트웨어 라이선스 수를 획기적으로 줄여 신규 또는 확장된 AI 워크로드를 위한 공간을 확보할 수 있습니다.
앞서가는 AI 추론 성능
130억 개 이하의 파라미터를 가진 언어 모델, 이미지 및 사기 분석 또는 추천 시스템 등 많은 AI 워크로드가 AMD EPYC™ 9005 CPU를 탑재한 CPU 전용 서버에서 효율적으로 실행됩니다. 2개의 5세대 AMD EPYC 9965 CPU를 실행하는 서버는 이전 세대 제품에 비해 최대 2배의 추론 처리율을 제공합니다.3
GPU 가속 극대화
AMD EPYC™ 9005 제품군에는 일부 AI 워크로드의 성능을 높이고 각 GPU 서버의 ROI를 개선할 수 있도록 GPU 지원 시스템용 호스트 CPU로 최적화된 옵션이 포함되어 있습니다. 예를 들어, 8개의 GPU를 장착한 고주파 AMD EPYC 9575F 프로세서 기반 서버는 Llama3.1-70B를 실행하는 8개의 GPU를 사용하는 호스트 CPU를 통해 인텔 제온 8592+ 프로세서를 장착한 서버보다 최대 20% 향상된 시스템 성능을 제공합니다.4
5세대 AMD EPYC 프로세서가 데이터 센터 전반에서 AI의 효율성과 성능을 높이는 데 어떻게 도움이 되는지 알아보세요. 데이터 센터에 공간을 확보하고 성능을 높이는 것부터 CPU에서 직접 추론을 실행하여 GPU의 성능을 개선하는 것까지, AMD EPYC 프로세서는 엔터프라이즈 AI를 새로운 차원으로 끌어 올립니다.
엔터프라이즈 성능 최적화
AMD EPYC 9005 프로세서는 뛰어난 성능을 제공하는 동시에 앞서가는 에너지 효율성 및 소유 비용(TCO) 가치를 실현하여 주요 비즈니스 필수 요건을 지원합니다.
업계를 선도하는 정수 성능
AMD EPYC 9005 CPU 기반 서버는 새로운 “Zen 5” 코어를 활용하여 주요 경쟁 제품에 비해 2.7배의 정수 성능을 비롯한 강력한 메인스트림 성능 지표를 제공합니다.5
클라우드를 위한 설계
AMD EPYC™ 9005 프로세서는 클라우드 워크로드를 위한 밀도와 성능을 제공합니다. 192코어의 최상급 AMD EPYC 9965 프로세서는 가용한 최상의 최신 인텔® 제온 6E "Sierra Forest" 144코어 프로세서(vCPU당 1코어)에 비해 33% 더 많은 가상 CPU(vCPU)를 지원합니다.
앞서가는 효율성 및 TCO
데이터 센터는 그 어느 때보다 많은 에너지를 필요로 합니다. AMD EPYC™ 9005 프로세서는 이전 세대의 AMD EPYC에서 볼 수 있는 에너지 효율성과 TCO 이점을 지속적으로 제공합니다.
앞서가는 성능, 밀도, 효율성
AMD EPYC 9005 시리즈 프로세서에는 뛰어난 메모리 대역폭 및 용량을 갖춘 최대 192개의 "Zen 5" 또는 "Zen 5c" 코어가 포함됩니다. 혁신적인 AMD 칩렛 아키텍처는 서로 다른 컴퓨팅 요구에 최적화된 고성능의 에너지 효율적 솔루션을 가능하게 합니다.
“Zen 5”
“Zen 5c”
업계 리더들의 신뢰를 받는 광범위한 에코시스템 지원
AMD는 AMD EPYC™ 9005 프로세서를 탑재한 광범위한 솔루션 제공업체 네트워크와 협력하고 있습니다. 전 세계 기업과 정부 기관은 가장 중요한 워크로드를 위해 AMD를 선택합니다.
모델 사양
리소스
각주
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다.
2P AMD EPYC 9965(총 384코어), 12개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755(총 256코어), 8개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654(총 192코어) 6개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power)
vs. 2P 제온 Platinum 8592+(총 128코어), 4개 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled)
결과:
CPU 중간값 상대 세대 간
Turin 192C, 12 Inst 6067.531 3.775 2.278
Turin 128C, 8 Inst 4091.85 2.546 1.536
Genoa 96C, 6 Inst 2663.14 1.657 1
EMR 64C, 4 Inst 1607.417 1 NA
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. 이 데이터를 활용하여 '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 환경에 미치는 영향을 추산했습니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-014: Llama3.1-70B 추론 처리율 결과는 2024년 9월 1일 기준 AMD 내부 테스트에 기초합니다.
Llama3.1-70B 구성: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, 입력/출력 토큰 구성(사용 사례): [BS=1024 I/O=128/128, BS=1024 I/O=128/2048, BS=96 I/O=2048/128, BS=64 I/O=2048/2048]. 결과는 초당 토큰 수입니다.
2P AMD EPYC 9575F (총 128코어), 8x NVIDIA H100 80GB HBM3, 1.5TB 24x64GB DDR5-6000, 1.0Gbps 3TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113(Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic(mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P 인텔 제온 Platinum 8592+(총 128코어), 8x NVIDIA H100 80GB HBM3, 1TB 16x64GB DDR5-5600, 3.2TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic(processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=꺼짐, cpupower frequency-set -g 성능), BIOS 2.1(최대 성능, SR-IOV=켜짐),
I/O 토큰 배치 크기 EMR Turin Relative
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
평균 처리율은 1.197배 증가했습니다.
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- 9xx5-002D: SPECrate®2017_int_base 비교 수치는 2024년 10월 10일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3000 SPECrate®2017_int_base, 총 384코어, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755(2720 SPECrate®2017_int_base, 총 256코어, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754(1950 SPECrate®2017_int_base, 총 256코어, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654(1810 SPECrate®2017_int_base, 총 192코어, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P 인텔 제온 Platinum 8592+(1130 SPECrate®2017_int_base, 총 128코어, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P 인텔 제온 6780E(1410 SPECrate®2017_int_base, 총 288코어, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 인텔 CPU TDP는 https://ark.intel.com/을 참조하세요.
각주
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다.
2P AMD EPYC 9965(총 384코어), 12개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9755(총 256코어), 8개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled)
2P AMD EPYC 9654(총 192코어) 6개 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power)
vs. 2P 제온 Platinum 8592+(총 128코어), 4개 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled)
결과:
CPU 중간값 상대 세대 간
Turin 192C, 12 Inst 6067.531 3.775 2.278
Turin 128C, 8 Inst 4091.85 2.546 1.536
Genoa 96C, 6 Inst 2663.14 1.657 1
EMR 64C, 4 Inst 1607.417 1 NA
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다. - 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. 이 데이터를 활용하여 '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 환경에 미치는 영향을 추산했습니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-014: Llama3.1-70B 추론 처리율 결과는 2024년 9월 1일 기준 AMD 내부 테스트에 기초합니다.
Llama3.1-70B 구성: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, 입력/출력 토큰 구성(사용 사례): [BS=1024 I/O=128/128, BS=1024 I/O=128/2048, BS=96 I/O=2048/128, BS=64 I/O=2048/2048]. 결과는 초당 토큰 수입니다.
2P AMD EPYC 9575F (총 128코어), 8x NVIDIA H100 80GB HBM3, 1.5TB 24x64GB DDR5-6000, 1.0Gbps 3TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113(Determinism=Power,SR-IOV=On), Ubuntu 22.04.3 LTS, kernel=5.15.0-117-generic(mitigations=off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3> /proc/syss/vm/drop_caches),
2P 인텔 제온 Platinum 8592+(총 128코어), 8x NVIDIA H100 80GB HBM3, 1TB 16x64GB DDR5-5600, 3.2TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic(processor.max_cstate=1, intel_idle.max_cstate=0 mitigations=꺼짐, cpupower frequency-set -g 성능), BIOS 2.1(최대 성능, SR-IOV=켜짐),
I/O 토큰 배치 크기 EMR Turin Relative
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
평균 처리율은 1.197배 증가했습니다.
결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. - 9xx5-002D: SPECrate®2017_int_base 비교 수치는 2024년 10월 10일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3000 SPECrate®2017_int_base, 총 384코어, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755(2720 SPECrate®2017_int_base, 총 256코어, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754(1950 SPECrate®2017_int_base, 총 256코어, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654(1810 SPECrate®2017_int_base, 총 192코어, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P 인텔 제온 Platinum 8592+(1130 SPECrate®2017_int_base, 총 128코어, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P 인텔 제온 6780E(1410 SPECrate®2017_int_base, 총 288코어, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 인텔 CPU TDP는 https://ark.intel.com/을 참조하세요.