자동차
컴퓨터 비전 모델은 자율 주행 자동차를 추진하는 데 도움이 되며, 피해야 할 표지판, 보행자 및 다른 차량을 인식하는 데에도 도움이 됩니다. 자연어 처리 모델은 차량 내 텔레매틱스에 대한 음성 명령을 인식하는 데 도움이 될 수 있습니다.
엔터프라이즈 AI 추론 워크로드를 다루는 업계 최고 포트폴리오
AI 추론은 훈련된 AI 모델을 사용하여 새로운 데이터에 대한 예측을 합니다. AMD는 모델 크기 및 애플리케이션 요구 사항에 따라 AI 추론을 위한 다양한 솔루션을 제공합니다. AMD EPYC™ 프로세서는 데이터 근접성이 중요한 중소형 AI 모델 및 워크로드에 적합합니다. AMD EPYC 프로세서는 지연율이 중요하지 않은 일괄 처리 또는 오프라인 처리 애플리케이션에 비용 효율적인 추론 솔루션을 제공합니다.
다음은 AMD EPYC 프로세서에서 잘 작동하는 AI 워크로드 중 일부에 불과합니다. 각 유형의 워크로드에 대해 자세히 알아보려면 상세한 내용이 포함된 이 기사를 읽어 보세요.
- 낮은 지연율 허용 오차
- 보통의 지연율 허용 오차
- 높은 지연율 허용 오차
낮은 지연율 허용 오차
시스템 유형 |
예시 |
근거 |
권장 시스템 |
|
|
머신러닝 |
|
|
보통의 지연율 허용 오차
시스템 유형 |
예시 |
근거 |
자연어 처리 |
|
|
혼합 AI 기반 애플리케이션 |
|
|
높은 지연율 허용 오차
시스템 유형 |
예시 |
근거 |
생성형 AI |
|
|
거대 언어 모델 |
|
|
애플리케이션 및 산업
컴퓨터 비전, 자연어 처리 및 추천 시스템에 통합된 AI 모델은 여러 산업 분야에 걸쳐 비즈니스에 상당한 영향을 미쳤습니다. 이러한 모델은 기업이 객체를 인식하고, 이상을 분류하며, 문어 및 구어를 이해하고, 권장 사항을 제시하는 데 도움이 됩니다. 이러한 모델의 개발을 가속화함으로써 기업은 종사하는 산업에 관계없이 이점을 누릴 수 있습니다.
엔터프라이즈 AI 추론 워크로드에 이상적인 선택
CPU로만 배포되든 대형 모델을 실행하는 GPU의 호스트로 사용되든, AMD EPYC™ 9005 시리즈 프로세서는 엔터프라이즈 AI 추론 워크로드를 가속화하는 최신 개방형 표준 기술로 설계되었습니다.
- 하드웨어
- 소프트웨어
- 보안
AI 추론을 위한 설계
AVX-512 명령을 지원하는 최대 192개의 AMD “Zen 5” 코어는 전체 512b 범위의 데이터 경로를 통해 AI 추론 워크로드에 뛰어난 병렬성을 제공하여 GPU 가속화에 대한 필요를 줄입니다.
동시 AI 및 기존 워크로드를 위한 설계: 5세대 AMD EPYC 프로세서는 기존 워크로드에 대해 최고의 정수 성능을 제공합니다.1 AMD EPYC 프로세서는 다양한 AI 워크로드 및 모델 크기에서 효율적인 추론을 제공합니다.
빠른 처리 및 I/O: 클럭 주기당 명령(IPC)에서 AI 워크로드가 세대 간 37% 증가했습니다.2 빠른 데이터 처리를 위한 DDR5 메모리 및 PCIe® Gen 5 I/O.
AI 추론을 위한 AMD 소프트웨어 최적화
프레임워크 지원: AMD는 이미지 분류 및 추천 엔진과 같은 다양한 사용 사례에 적용되며 가장 널리 사용되는 TensorFlow, PyTorch, ONNX 런타임 등의 AI 프레임워크를 지원합니다.
오픈 소스 및 호환성: 광범위한 호환성과 오픈 소스 업스트림 친화성을 제공하며 널리 사용되는 프레임워크에 최적화가 통합되었습니다. 또한 AMD는 Hugging Face와 협력하여 Hugging Face의 오픈 소스 모델이 ZenDNN을 통해 즉시 사용 가능하도록 지원합니다.
ZenDNN 플러그인: 이러한 플러그인은 연산자를 최적화하고 마이크로커널을 활용하며 AMD EPYC 코어에서 효율적인 멀티스레딩을 구현하여 AI 추론 워크로드를 가속화합니다.
이미지 확대
AI 시대에 데이터 보안은 더욱 중요해졌습니다
디지털화, 클라우드 컴퓨팅, AI 및 기타 새로운 기술의 사용으로 데이터 증가가 촉진됨에 따라 고급 보안 조치에 대한 필요성이 더욱 시급해지고 있습니다. 이렇게 높아진 보안 필요성은 전 세계적으로 개인정보보호 규정과 위반에 대한 엄격한 처벌이 점차 중요해지면서 더욱 증폭되었습니다. 이는 증가하는 보안 위험 속에서 데이터의 독보적인 가치가 두드러지고 있는 것입니다.
실리콘 단계에서 빌트인되어 있는 AMD Infinity Guard는 내부 및 외부 위협으로부터 방어하고 데이터를 안전하게 보호하는 데 필요한 고급 기능을 제공합니다.3
AI 워크로드 모델
AMD EPYC™ 9005 프로세서 기반 서버 및 클라우드 인스턴스는 고객과 데이터에 근접한 빠르고 효율적인 AI 지원 솔루션을 구현합니다.
Llama3.1-8B BF16⁴을 실행하는 2P 서버(상대 토큰/초)
1.8배
1.3배
1.0배
FAISS를 실행하는 2P 서버⁵(요청/시간)
3.8배
2.0배
1.0배
TPCx-AI @ SF30을 실행하는 2P 서버⁶(처리량/분)
3.8배
2.3배
1.0배
XGBoost @ SF30을 실행하는 2P 서버⁷(실행/시간)
3.0배
2.0배
1.0배
리소스
각주
- 9xx5-002D: SPECrate®2017_int_base 비교 수치는 2024년 10월 10일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3000 SPECrate®2017_int_base, 총 384코어, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755(2720 SPECrate®2017_int_base, 총 256코어, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754(1950 SPECrate®2017_int_base, 총 256코어, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654(1810 SPECrate®2017_int_base, 총 192코어, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P 인텔 제온 Platinum 8592+(1130 SPECrate®2017_int_base, 총 128코어, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P 인텔 제온 6780E(1410 SPECrate®2017_int_base, 총 288코어, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 인텔 CPU TDP는 https://ark.intel.com/을 참조하세요.
- 9xx5-001: 2024년 9월 10일 실시한 AMD 내부 테스트를 기준으로, 고정된 주파수에서 나타난 기하 평균 성능 개선(IPC)입니다. - 선택된 24개 워크로드 세트를 사용하여 5세대 EPYC 세대 간 ML/HPC 서버 워크로드 IPC가 1.369배(기하 평균) 향상되었으며, 이는 대표적인 ML 서버 워크로드(기하 평균)와 대표적인 HPC 서버 워크로드(기하 평균)의 기하 평균입니다. "Genoa" 구성(모두 NPS1) "Genoa" 구성: EPYC 9654 BIOS TQZ1005D 12c12t(1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-4800(2Rx4 64GB), 32Gbps xGMI; “Turin” config(모두 NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t(1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-6000(2Rx4 64GB), 32Gbps xGMI 6.8.0-40-generic kernel OS를 사용하는 Ubuntu 22.04에서 성능 결정성과 성능 Governor를 활용하여 24.04 및 6.8.0-40-generic kernel을 사용하는 LAMMPS, HPCG, NAMD, OpenFOAM, Gromacs를 제외한 모든 워크로드에 적용합니다. SPEC® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 spec.org에서 확인할 수 있습니다.
- GD-183A AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 내용은 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html 페이지를 참조하세요.
- 9xx5-009: Llama3.1-8B 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. Llama3-8B 구성: IPEX.LLM 2.4.0, NPS=2, BF16, 배치 크기 4, 사용 사례 입/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024, 캡션 = 16/16]. 2P AMD EPYC 9965(총 384코어), 6 64C 인스턴스 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 2P AMD EPYC 9755(총 256코어), 4 64C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 2P AMD EPYC 9654(총 192코어) 4 48C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic(tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 vs. 2P 제온 Platinum 8592+(총 128코어), 64C 인스턴스 2개, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled). 결과: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c 평균 집계 중앙값 총 처리율 99.474 193.267 182.595 138.978 경쟁 1 1.943 1.836 1.397 세대 간 NA 1.391 1.314 1 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-011: FAISS(시간당 요청) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: sift1m 데이터 세트, 16코어 인스턴스 , FP32, MKL 2024.2.1 2P AMD EPYC 9965(총 384코어), 24 16C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=42P AMD EPYC 9654(총 192코어) 12 16C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power), NPS=4 vs 2P 제온 Platinum 8592+(총 128코어), 8 16C 인스턴스, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, , Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과:CPU 중앙값 상대 처리율 세대 간 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합 집계 AI 처리율 테스트는 TPCx-AI 벤치마크에서 가져온것으로, 종합 AI 처리율 테스트 결과는 TPCx-AI 사양을 준수하지 않으므로 공개된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(총 384코어), 12 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9755(총 256코어), 8 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9654(총 192코어) 6 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power) vs. 2P 제온 Platinum 8592+(총 128코어), 4 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 중앙값 상대 세대 간 Turin 192C, 12 Inst 6067.531 3.775 2.278 Turin 128C, 8 Inst 4091.85 2.546 1.536 Genoa 96C, 6 Inst 2663.14 1.657 1 EMR 64C, 4 Inst 1607.417 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
각주
- 9xx5-002D: SPECrate®2017_int_base 비교 수치는 2024년 10월 10일 기준, www.spec.org의 게시 점수에 기반한 것입니다. 2P AMD EPYC 9965(3000 SPECrate®2017_int_base, 총 384코어, 500W TDP, $14,813 CPU $), 6.060 SPECrate®2017_int_base/CPU W, 0.205 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755(2720 SPECrate®2017_int_base, 총 256코어, 500W TDP, $12,984 CPU $), 5.440 SPECrate®2017_int_base/CPU W, 0.209 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754(1950 SPECrate®2017_int_base, 총 256코어, 360W TDP, $11,900 CPU $), 5.417 SPECrate®2017_int_base/CPU W, 0.164 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654(1810 SPECrate®2017_int_base, 총 192코어, 360W TDP, $11,805 CPU $), 5.028 SPECrate®2017_int_base/CPU W, 0.153 SPECrate®2017_int_base/CPU $, https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P 인텔 제온 Platinum 8592+(1130 SPECrate®2017_int_base, 총 128코어, 350W TDP, $11,600 CPU $) 3.229 SPECrate®2017_int_base/CPU W, 0.097 SPECrate®2017_int_base/CPU $, http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P 인텔 제온 6780E(1410 SPECrate®2017_int_base, 총 288코어, 330W TDP, $11,350 CPU $) 4.273 SPECrate®2017_int_base/CPU W, 0.124 SPECrate®2017_int_base/CPU $, https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®, SPEC CPU® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 www.spec.org를 참조하세요. 인텔 CPU TDP는 https://ark.intel.com/을 참조하세요.
- 9xx5-001: 2024년 9월 10일 실시한 AMD 내부 테스트를 기준으로, 고정된 주파수에서 나타난 기하 평균 성능 개선(IPC)입니다. - 선택된 24개 워크로드 세트를 사용하여 5세대 EPYC 세대 간 ML/HPC 서버 워크로드 IPC가 1.369배(기하 평균) 향상되었으며, 이는 대표적인 ML 서버 워크로드(기하 평균)와 대표적인 HPC 서버 워크로드(기하 평균)의 기하 평균입니다. "Genoa" 구성(모두 NPS1) "Genoa" 구성: EPYC 9654 BIOS TQZ1005D 12c12t(1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-4800(2Rx4 64GB), 32Gbps xGMI; “Turin” config(모두 NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t(1c1t/CCD in 12+1), FF 3GHz, 12x DDR5-6000(2Rx4 64GB), 32Gbps xGMI 6.8.0-40-generic kernel OS를 사용하는 Ubuntu 22.04에서 성능 결정성과 성능 Governor를 활용하여 24.04 및 6.8.0-40-generic kernel을 사용하는 LAMMPS, HPCG, NAMD, OpenFOAM, Gromacs를 제외한 모든 워크로드에 적용합니다. SPEC® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 spec.org에서 확인할 수 있습니다.
- GD-183A AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 내용은 https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html 페이지를 참조하세요.
- 9xx5-009: Llama3.1-8B 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. Llama3-8B 구성: IPEX.LLM 2.4.0, NPS=2, BF16, 배치 크기 4, 사용 사례 입/출력 토큰 구성: [요약 = 1024/128, 챗봇 = 128/128, 번역 = 1024/1024, 에세이 = 128/1024, 캡션 = 16/16]. 2P AMD EPYC 9965(총 384코어), 6 64C 인스턴스 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 2P AMD EPYC 9755(총 256코어), 4 64C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.3 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 2P AMD EPYC 9654(총 192코어) 4 48C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 5.15.85-051585-generic(tuned-adm profile throughput-performance, ulimit -l 1198117616, ulimit -n 500000, ulimit -s 8192), BIOS RVI1008C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=2 vs. 2P 제온 Platinum 8592+(총 128코어), 64C 인스턴스 2개, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS 6.5.0-35-generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled). 결과: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c 평균 집계 중앙값 총 처리율 99.474 193.267 182.595 138.978 경쟁 1 1.943 1.836 1.397 세대 간 NA 1.391 1.314 1 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-011: FAISS(시간당 요청) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. FAISS 구성: sift1m 데이터 세트, 16코어 인스턴스 , FP32, MKL 2024.2.1 2P AMD EPYC 9965(총 384코어), 24 16C 인스턴스, 1.5TB 24x64GB DDR5-6400(6000 MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=42P AMD EPYC 9654(총 192코어) 12 16C 인스턴스, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power), NPS=4 vs 2P 제온 Platinum 8592+(총 128코어), 8 16C 인스턴스, AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0 Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe, , Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과:CPU 중앙값 상대 처리율 세대 간 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
- 9xx5-012: 2024년 9월 5일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초한 TPCxAI @SF30 다중 인스턴스 32C 인스턴스 크기 처리율 결과. 종합 집계 AI 처리율 테스트는 TPCx-AI 벤치마크에서 가져온것으로, 종합 AI 처리율 테스트 결과는 TPCx-AI 사양을 준수하지 않으므로 공개된 TPCx-AI 결과와 비교할 수 없습니다. 2P AMD EPYC 9965(총 384코어), 12 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9755(총 256코어), 8 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0 Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198096812, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled) 2P AMD EPYC 9654(총 192코어) 6 32C 인스턴스, NPS1, 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92TB Samsung MZQL21T9HCJR-00A07 NVMe, Ubuntu 22.04.3 LTS, BIOS 1006C(SMT=off, Determinism=Power) vs. 2P 제온 Platinum 8592+(총 128코어), 4 32C 인스턴스, AMX 켜짐, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84TB KIOXIA KCMYXRUG3T84 NVMe, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 중앙값 상대 세대 간 Turin 192C, 12 Inst 6067.531 3.775 2.278 Turin 128C, 8 Inst 4091.85 2.546 1.536 Genoa 96C, 6 Inst 2663.14 1.657 1 EMR 64C, 4 Inst 1607.417 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.