자동차
컴퓨터 비전 모델은 자율 주행 자동차를 추진하는 데 도움이 되며, 피해야 할 표지판, 보행자 및 다른 차량을 인식하는 데에도 도움이 됩니다. 자연어 처리 모델은 차량 내 텔레매틱스에 대한 음성 명령을 인식하는 데 도움이 될 수 있습니다.
주요 웨비나
AMD EPYC™ 9004 시리즈 프로세서를 통해 소형 AI 모델, 많은 기존 ML 및 추론 워크로드 그리고 AI로 증강되는 기존 컴퓨팅 워크로드에 효율적인 CPU 기반 AI 프로세싱을 어떻게 배포할 수 있는지 알아보세요.
엔터프라이즈 AI 추론 워크로드를 다루는 업계 최고 포트폴리오
AI 추론은 훈련된 AI 모델을 사용하여 새로운 데이터에 대한 예측을 합니다. AMD는 모델 크기 및 애플리케이션 요구 사항에 따라 AI 추론을 위한 다양한 솔루션을 제공합니다. AMD EPYC™ CPU는 데이터 근접성이 중요한 중소형 AI 모델 및 워크로드에 적합합니다. AMD Instinct™ GPU는 매우 높은 성능과 확장성이 요구되는 대형 모델 및 전용 AI 배포에 탁월합니다. 두 가지 모두 탁월한 성능과 효율성을 제공하므로 요구 사항에 맞는 솔루션을 선택할 수 있습니다.
- 소형
- 중형
- 대형
모델 크기 소형
| 모델 크기 | 유형 | 장점 | 단점 | 일반적인 사용 사례 |
| 소형 | 기존 |
|
|
|
| 생성형 |
|
|
|
모델 크기 중형
| 모델 크기 | 유형 | 장점 | 단점 | 일반적인 사용 사례 |
| 중형 | 기존 |
|
|
|
| 예측 |
|
|
|
모델 크기 대형
| 모델 크기 | 유형 | 장점 | 단점 | 일반적인 사용 사례 |
| 대형 | 생성형 |
|
|
|
| 기존 |
|
|
|
|
| 예측 |
|
|
|
애플리케이션 및 산업
컴퓨터 비전, 자연어 처리 및 추천 시스템에 통합된 AI 모델은 여러 산업 분야에 걸쳐 비즈니스에 상당한 영향을 미쳤습니다. 이러한 모델은 기업이 객체를 인식하고, 이상을 분류하며, 문어 및 구어를 이해하고, 권장 사항을 제시하는 데 도움이 됩니다. 이러한 모델의 개발을 가속화함으로써 기업은 종사하는 산업에 관계없이 이점을 누릴 수 있습니다.
엔터프라이즈 AI 추론 워크로드에 이상적인 선택
CPU로만 배포되든 대형 모델을 실행하는 GPU의 호스트로 사용되든, AMD EPYC™ 9004 시리즈 프로세서는 엔터프라이즈 AI 추론 워크로드를 가속화하는 최신 개방형 표준 기술로 설계되었습니다.
- 하드웨어
- 소프트웨어
- 보안
AI 추론을 위한 설계
AVX-512 명령을 지원하는 최대 128개의 AMD "Zen 4" 코어는 AI 추론 워크로드를 위한 뛰어난 병렬 처리가 가능하므로 GPU 가속의 필요성을 줄여줍니다.
독보적인 전력 효율: AMD EPYC 프로세서는 뛰어난 성능을 제공하고 에너지 비용을 절감하여 가장 에너지 효율적인 서버를 구동합니다.1
빠른 처리 및 I/O: 클럭 주기당 명령어 처리량이 세대 간 14% 증가하고 DDR5 메모리와 PCIe® Gen 5 I/O를 통해 빠른 데이터 처리가 가능합니다.2
AI 추론을 위한 AMD 소프트웨어 최적화
프레임워크 지원: AMD는 이미지 분류 및 추천 엔진과 같은 다양한 사용 사례에 적용되며 가장 널리 사용되는 TensorFlow, PyTorch, ONNX 런타임 등의 AI 프레임워크를 지원합니다.
오픈 소스 및 호환성: 광범위한 호환성과 오픈 소스 업스트림 친화성을 제공하며 널리 사용되는 프레임워크에 최적화가 통합되었습니다. 또한 AMD는 Hugging Face와 협력하여 Hugging Face의 오픈 소스 모델이 ZenDNN을 통해 즉시 사용 가능하도록 지원합니다.
ZenDNN 플러그인: 이러한 플러그인은 연산자를 최적화하고 마이크로커널을 활용하며 AMD EPYC 코어에서 효율적인 멀티스레딩을 구현하여 AI 추론 워크로드를 가속화합니다.
이미지 확대
AI 시대에 데이터 보안은 더욱 중요해졌습니다
디지털화, 클라우드 컴퓨팅, AI 및 기타 새로운 기술의 사용으로 데이터 증가가 촉진됨에 따라 고급 보안 조치에 대한 필요성이 더욱 시급해지고 있습니다. 이렇게 높아진 보안 필요성은 전 세계적으로 개인정보보호 규정과 위반에 대한 엄격한 처벌이 점차 중요해지면서 더욱 증폭되었습니다. 이는 증가하는 보안 위험 속에서 데이터의 독보적인 가치가 두드러지고 있는 것입니다.
실리콘 단계에서 빌트인되어 있는 AMD Infinity Guard는 내부 및 외부 위협으로부터 방어하고 데이터를 안전하게 보호하는 데 필요한 고급 기능을 제공합니다.3
AMD EPYC™ 9004 프로세서 기반 서버 및 클라우드 인스턴스는 고객과 데이터에 근접한 빠르고 효율적인 AI 지원 솔루션을 구현합니다.
소형/중형 AI 워크로드 모델
Llama2-7B CHAT-HF 및 13B CHAT-HF LLM⁴을 실행하는 2P 서버(상대 토큰/초)
1.36배
1.0배
Phi-3 Mini(4K)⁵를 실행하는 2P 서버(상대 토큰/초)
1.24배
1.0배
Int8 정도⁶에서 DLRMv2를 실행하는 AWS 인스턴스
~1.44배
1.0배
FP32 정도⁷에서 PyTorch 및 Neural Magic Deepsparse 엔진으로 MiniLM을 실행하는 AWS 인스턴스
~1.78배
1.0배
BF16 정도⁸에서 Llama2-7B를 실행하는 AWS 인스턴스
~1.19배
1.0배
기존 ML 워크로드 모델
클러스터링 FAISS⁹를 실행하는 2P 서버(클러스터링/초)
최대 2.0배
1.0배
Higgs 보손 입자 폭발¹⁰(처리율)로 XGBoost를 실행하는 2P 서버
최대 1.7배
1.0배
무작위 의사 결정 포레스트에서 분류를 실행하는 2P 서버(SciKit-Learning RandomForest airline_ohe 처리율)¹¹
최대 1.36배
1.0배
OpenVINO™ Road¹² 세그먼테이션 추론을 실행하는 2P 서버(CPU W당 프레임/초)
최대 2.4배
1.0배
TPCx-AI @ SF30¹³을 실행하는 2P 서버(처리율/분)
최대 1.65배
1.0배
리소스
각주
- EPYC-028D: SPECpower_ssj® 2008, SPECrate®2017_int_energy_base 및 SPECrate®2017_fp_energy_base는 2024년 2월 21일 기준, SPEC의 웹사이트에 게시된 결과에 기초합니다. VMmark® 서버 전력 성능/서버 및 스토리지 전력 성능(PPKW) 기반 결과는 https://www.vmware.com/products/vmmark/results3x.1.html?sort=score에 게시되었습니다. 최고의 종합 효율성 및 종합 ssj_ops/W 결과와 함께, 상위 105개로 랭크된 SPECpower_ssj®2008 게시물은 모두 AMD EPYC 프로세서 기반이었습니다. SPECrate®2017 정수(에너지 기반)의 경우, AMD EPYC CPU는 SPECrate®2017_int_energy_base 성능/시스템 W 점수 중 상위 8개를 구동합니다. SPECrate®2017 부동 소수점(에너지 기반)의 경우, AMD EPYC CPU는 SPECrate®2017_fp_energy_base 성능/시스템 W 점수 중 상위 12개를 구동합니다. VMmark® 서버 전력 성능(PPKW)의 경우, 2소켓 및 4소켓 일치 쌍 결과의 상위 5개 결과는 다른 모든 소켓 결과를 능가하며 VMmark® 서버 및 스토리지 전력 성능(PPKW)의 경우 전체 점수가 가장 높습니다. 전체 목록은 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D를 참조하세요. AMD의 지속 가능성 목표에 대한 자세한 사항은 https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html을 참조하세요. SPEC®에 대한 자세한 사항 참조: http://www.spec.org. SPEC, SPECrate 및 SPECpower는 Standard Performance Evaluation Corporation의 등록 상표입니다. VMmark는 미국 또는 기타 국가에서 VMware의 등록 상표입니다.
- EPYC-038: 2022년 9월 19일 기준 AMD 내부 테스트에 따르면, est. SPECrate®2017_int_base, est. SPECrate®2017_fp_base 및 대표적인 서버 워크로드를 포함한 선별된 워크로드 세트(33)를 사용하여 3세대 AMD EPYC™ 7763 CPU에 비해 4세대 AMD EPYC™ 9554 CPU의 동일한 고정 주파수에서 기하평균 성능 개선이 나타났습니다. SPEC® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 spec.org에서 확인할 수 있습니다.
- GD-183A AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 사항은 https://www.amd.com/en/technologies/infinity-guard에서 확인하세요.
- SP5-222: Llama2 토큰/초 워크로드 주장은 2023년 12월 1일 기준 AMD 내부 테스트에 기초합니다. 2P 서버 구성: 2P EPYC 9654(96C/192T), BIOS AMI RTI1001C(NPS=1, 전력 결정, SMT=꺼짐), 메모리: 1.5TB(24X 64GB DDR5-4800), 스토리지: NVMe 3.2T x 5 + NVMe 1T, OS: Ubuntu 22.04.2 LTS(Linux 5.15.0-84-generic), 소프트웨어: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 24개 인스턴스 실행 시 최대 평균 27.24토큰/초(Llama2-13B-CHAT-HF, 입력 토큰 크기: 8, bfloat16) 및 최대 평균 52.89토큰/초(Llama2-7B-CHAT-HF, 입력 크기: 8, bfloat16), 2P 제온 Platinum 8480+(56C/112T) 성능의 1.36배, BIOS ESE110Q-1.10(프로파일=최대 성능, HT=꺼짐), 1TB(16X 64GB DDR5-4800), 스토리지: NVMe 3.2T x 4, OS: Ubuntu 22.04.3 LTS(Linux 5.15.0-88-generic), 소프트웨어: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 14개 인스턴스 실행 시 최대 평균 20.08토큰/초(Llama2-13B-CHAT-HF, 입력 토큰 크기: 8, bfloat16) 및 최대 평균 38.98토큰/초(Llama2-7B-CHAT-HF, 입력 토큰 크기: 8, bfloat16). 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- TBD "SP5-289: Phi-3-mini 처리율 결과는 2024년 6월 10일 기준 AMD 내부 테스트에 기초합니다.
Phi-3-mini 구성: 단일 인스턴스, IPEX 2.3.0, BF16, 배치 크기 1, 입력 토큰 16, 출력 토큰 32.
서버 구성:
2P EPYC 9654(96C/192T), Lenovo ThinkSystem SR665 V3, (SMT=꺼짐, NPS=1, 전력 결정, BIOS 1.56), 1.5TB(4800 MT/s에서 24x 64GB DDR5-5600 실행 시), 3.2TB SSD, Ubuntu® 22.04.4 LTS.
2P 제온 Platinum 8592+(64C/128T), Lenovo ThinkSystem SR650 V3(HT=꺼짐, NPS-1, 터보 활성화, 프로필=최대 성능, BIOS ESE122V-3.10), 1TB(16x 64GB DDR5-4800), 3.2TB NVMe, Ubuntu 22.04.4 LTS, AMX 켜짐.
결과, Phi-3-mini 4K:
중간 점수 EMR 대비
인텔 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
결과, Phi-3-mini 128K
중간 점수 EMR 대비
인텔 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093
- SP5C-065: 2024년 6월 11일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 딥 러닝 권장 모델(dlrm-v2.99)(배치 크기=2000, Int8 정도, OneDNN 라이브러리, IPEX 익스텐션)을 실행하는 M7i. 48xl과 AWS HPC7a.96xlarge의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. M7i. 48xl: $9.6768/시간 HPC7a.96xlarge: $7.20/시간. AWS 가격: https://aws.amazon.com/ec2/pricing/on-demand/
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다.
- SP5C-070: 2024년 7월 15일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 배치 크기 = 1, 입력 토큰 크기 = 512, 출력 토큰 크기 = 128, FP32 정도에서 24개 병렬로 PyTorch 및 Neural Magic Deepsparse 엔진에서 HuggingFace의 all-MiniLM-L6-v2 모델을 실행하는 m7i.48xl과 AWS m7a.48xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. m7i.48xl: $9.6768/시간 m7a.48xl: $11.12832/시간
AWS 가격: https://aws.amazon.com/ec2/pricing/on-demand/
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다.
- SP5C-071: 배치 크기 = 4, 입력 토큰 크기 = 2016, 출력 토큰 크기 = 256인 인텔 TPP 라이브러리 단일 인스턴스의 BF16에서 7B 파라미터로 Llama2 모델을 실행하는 m7i.8xl과 AWS M7a.8xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다.
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다.
- SP5C-060: 2024년 6월 11일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 배치 크기 = 1, 128, 256 입력 토큰 크기 = 512, 출력 토큰 크기 = 512인 FP32에서 BERT-Large- pruned80_quant-none.vnni 모델을 실행하는 M7i.4xl과 AWS m7a.4xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. M7i.4xl: $0.8064/시간. M7a.4xl: $0.92736/시간. 제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다.
- SP5-185A: FAISS v1.7.4 1000 처리율 워크로드 주장은 2024년 4월 19일 AMD 내부 테스트를 기준으로 합니다. 2P 서버 구성: 2P EPYC 9654(96C/96T), BIOS 1006C (SMT=꺼짐, NPS=1, 전력 결정), 1.5TB (24x 64GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1.92TB, 중간 처리율 39.6점을 기록한 8인스턴스/24코어/인스턴스를 실행하는 Ubuntu® 22.04.3 LTS는 2P 제온 Platinum 8592+(64C/64T), BIOS 1.4.4(HT=꺼짐, 프로필=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, 중간 처리율 19.4점을 기록한 8인스턴스/16코어/인스턴스를 실행하는 Ubuntu 22.04.3 LTS의 성능의 2.04배입니다. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-251: XGBoost 2.0.3 처리율 워크로드 주장은 2024년 4월 19일 기준 AMD 내부 테스트에 기초합니다. 2P 서버 구성: 2P EPYC 9654(96C/192T), BIOS 1006C(SMT=꺼짐, NPS=1, 전력 결정), 1.5TB(24x 64GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1.92TB, Ubuntu 22.04.3 LTS 점수 203 Airline 중간 처리율(16개 인스턴스/12개 코어/인스턴스 실행) 및 2P 제온 Platinum 8592+(64C/128T)의 1.38배 및 1.71배 성능 각각에 대해 2057 Higgs 중간 처리율(32개 인스턴스/6개 코어/인스턴스 실행), BIOS 1.4.4(HT=꺼짐, 프로파일=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, Ubuntu 22.04.3 LTS 8개 인스턴스/16개 코어/인스턴스 실행 점수, 147 Airline 중간 처리율 및 4개 인스턴스/32개 코어/인스턴스 점수 1200 Higgs 중간 처리율. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-184A: SciKit-Learning Random Forest v2023.2 airline_ohe 데이터 세트 처리량 워크로드 주장은 2024년 4월 19일 AMD 내부 테스트를 기준으로 합니다. 2P 서버 구성: 2P EPYC 9654(96C/96T), BIOS 1006C (SMT=꺼짐, NPS=1, 전력 결정), 1.5TB(24x 64GB DDR5-4800), 2x Samsung MZQL21T9HCJR-00A07 1.7TB, 중간 처리율 166.8점을 기록한 12인스턴스/16코어/인스턴스를 실행하는 Ubuntu® 22.04.3 LTS는 2P 제온 Platinum 8592+(64C/64T), BIOS 1.4.4(HT=꺼짐, 프로필=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, 중간 처리율 123.1점을 기록한 8인스턴스/16코어/인스턴스를 실행하는 Ubuntu 22.04.3 LTS의 성능의 1.36배입니다. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-252: 타사 테스트 OpenVINO 2023.2.dev FPS 비교는 일부 OpenVINO 테스트에 대한 2023년 12월 14일 기준 Phoronix 리뷰 https://www.phoronix.com/review/intel-xeon-platinum-8592/9를 기준으로 합니다. Vehicle Detection FP16, Person Detection FP16, Person Vehicle Bike Detection FP16, Road Segmentation ADAS FP16 및 Face Detection Retail FP16. Road Segmentation ADAS FP16은 최대 2.36배의 향상을 보였습니다. 테스트는 AMD에 의해 개별적으로 인증되지 않았습니다. 점수는 시스템 구성 및 사용된 결정 모드(전력 결정 사용됨)에 따라 달라집니다. OpenVINO는 Intel Corporation 또는 그 자회사의 상표입니다.
- SP5-051A: 2024년 4월 13일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초하여 TPCx-AI SF30 파생 워크로드를 비교한 수치입니다. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. AMD 시스템 구성: 프로세서: AMD EPYC 9654 2개, 주파수: 2.4GHz | 3.7GHz, 코어: 소켓당 96개 코어(소켓당 1개의 NUMA 도메인), L3 캐시: 384MB/소켓(총 768MB), 메모리: 1.5TB(24개) 듀얼 랭크 DDR5-5600 64GB DIMM, 1DPC(플랫폼에서 최대 4800MHz 지원), NIC: 100GbE Mellanox CX-5(MT28800) 2개, 스토리지: 3.2TB Samsung MO003200KYDNC U.3 NVMe, BIOS: 1.56, BIOS 설정: SMT=켜짐, 결정성=Power, NPS=1, PPL=400W, 터보 부스트=사용, OS: Ubuntu® 22.04.3 LTS, 테스트 구성: 6개 인스턴스, 64개 vCPU/인스턴스, 종합적인 2663개 AI 사용 사례/분과 다음 인텔 시스템 구성 비교: 프로세서: 인텔® 제온® Platinum 8592+ 2개, 주파수: 1.9GHz | 3.9GHz, 코어: 소켓당 64개 코어(소켓당 1개의 NUMA 도메인), L3 캐시: 320MB/소켓(총 640MB), 메모리: 1TB(16) 듀얼 랭크 DDR5-5600 64GB DIMM, 1DPC, NIC: 1GbE Broadcom NetXtreme BCM5719 기가비트 이더넷 PCIe 4개, 스토리지: 3.84TB KIOXIA KCMYXRUG3T84 NVMe, BIOS: ESE124B-3.11, BIOS 설정: 하이퍼스레딩=활성화, 터보 부스트=활성화, SNC=비활성화, OS: Ubuntu® 22.04.3 LTS, 테스트 구성: 4개 인스턴스, 64개 vCPU/인스턴스, 종합적인 1607개 AI 사용 사례/분 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.
각주
- EPYC-028D: SPECpower_ssj® 2008, SPECrate®2017_int_energy_base 및 SPECrate®2017_fp_energy_base는 2024년 2월 21일 기준, SPEC의 웹사이트에 게시된 결과에 기초합니다. VMmark® 서버 전력 성능/서버 및 스토리지 전력 성능(PPKW) 기반 결과는 https://www.vmware.com/products/vmmark/results3x.1.html?sort=score에 게시되었습니다. 최고의 종합 효율성 및 종합 ssj_ops/W 결과와 함께, 상위 105개로 랭크된 SPECpower_ssj®2008 게시물은 모두 AMD EPYC 프로세서 기반이었습니다. SPECrate®2017 정수(에너지 기반)의 경우, AMD EPYC CPU는 SPECrate®2017_int_energy_base 성능/시스템 W 점수 중 상위 8개를 구동합니다. SPECrate®2017 부동 소수점(에너지 기반)의 경우, AMD EPYC CPU는 SPECrate®2017_fp_energy_base 성능/시스템 W 점수 중 상위 12개를 구동합니다. VMmark® 서버 전력 성능(PPKW)의 경우, 2소켓 및 4소켓 일치 쌍 결과의 상위 5개 결과는 다른 모든 소켓 결과를 능가하며 VMmark® 서버 및 스토리지 전력 성능(PPKW)의 경우 전체 점수가 가장 높습니다. 전체 목록은 https://www.amd.com/en/claims/epyc4#faq-EPYC-028D를 참조하세요. AMD의 지속 가능성 목표에 대한 자세한 사항은 https://www.amd.com/en/corporate/corporate-responsibility/data-center-sustainability.html을 참조하세요. SPEC®에 대한 자세한 사항 참조: http://www.spec.org. SPEC, SPECrate 및 SPECpower는 Standard Performance Evaluation Corporation의 등록 상표입니다. VMmark는 미국 또는 기타 국가에서 VMware의 등록 상표입니다.
- EPYC-038: 2022년 9월 19일 기준 AMD 내부 테스트에 따르면, est. SPECrate®2017_int_base, est. SPECrate®2017_fp_base 및 대표적인 서버 워크로드를 포함한 선별된 워크로드 세트(33)를 사용하여 3세대 AMD EPYC™ 7763 CPU에 비해 4세대 AMD EPYC™ 9554 CPU의 동일한 고정 주파수에서 기하평균 성능 개선이 나타났습니다. SPEC® 및 SPECrate®는 Standard Performance Evaluation Corporation의 등록 상표입니다. 자세한 사항은 spec.org에서 확인할 수 있습니다.
- GD-183A AMD Infinity Guard 기능은 EPYC™ 프로세서 세대 및/또는 시리즈별로 차이가 있습니다. Infinity Guard 보안 기능은 운용을 위해 반드시 서버 OEM 및/또는 클라우드 서비스 제공업체에 의해 활성화되어야 합니다. 귀하의 OEM 또는 제공업체로 이러한 기능을 지원하는지 문의하세요. Infinity Guard에 대한 자세한 사항은 https://www.amd.com/en/technologies/infinity-guard에서 확인하세요.
- SP5-222: Llama2 토큰/초 워크로드 주장은 2023년 12월 1일 기준 AMD 내부 테스트에 기초합니다. 2P 서버 구성: 2P EPYC 9654(96C/192T), BIOS AMI RTI1001C(NPS=1, 전력 결정, SMT=꺼짐), 메모리: 1.5TB(24X 64GB DDR5-4800), 스토리지: NVMe 3.2T x 5 + NVMe 1T, OS: Ubuntu 22.04.2 LTS(Linux 5.15.0-84-generic), 소프트웨어: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 24개 인스턴스 실행 시 최대 평균 27.24토큰/초(Llama2-13B-CHAT-HF, 입력 토큰 크기: 8, bfloat16) 및 최대 평균 52.89토큰/초(Llama2-7B-CHAT-HF, 입력 크기: 8, bfloat16), 2P 제온 Platinum 8480+(56C/112T) 성능의 1.36배, BIOS ESE110Q-1.10(프로파일=최대 성능, HT=꺼짐), 1TB(16X 64GB DDR5-4800), 스토리지: NVMe 3.2T x 4, OS: Ubuntu 22.04.3 LTS(Linux 5.15.0-88-generic), 소프트웨어: Python 3.9.18, conda 4.12.0, huggingface-hub 0.17.3, intel-openmp 2023.2.0, mkl 2023.2.0, numpy 1.26.1, sentencepiece 0.1.99, tokenizers 0.14.1 torch 2.1.0+cpu, tpp-pytorch-extension 0.0.1, transformers 4.35.0, 14개 인스턴스 실행 시 최대 평균 20.08토큰/초(Llama2-13B-CHAT-HF, 입력 토큰 크기: 8, bfloat16) 및 최대 평균 38.98토큰/초(Llama2-7B-CHAT-HF, 입력 토큰 크기: 8, bfloat16). 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- TBD "SP5-289: Phi-3-mini 처리율 결과는 2024년 6월 10일 기준 AMD 내부 테스트에 기초합니다.
Phi-3-mini 구성: 단일 인스턴스, IPEX 2.3.0, BF16, 배치 크기 1, 입력 토큰 16, 출력 토큰 32.
서버 구성:
2P EPYC 9654(96C/192T), Lenovo ThinkSystem SR665 V3, (SMT=꺼짐, NPS=1, 전력 결정, BIOS 1.56), 1.5TB(4800 MT/s에서 24x 64GB DDR5-5600 실행 시), 3.2TB SSD, Ubuntu® 22.04.4 LTS.
2P 제온 Platinum 8592+(64C/128T), Lenovo ThinkSystem SR650 V3(HT=꺼짐, NPS-1, 터보 활성화, 프로필=최대 성능, BIOS ESE122V-3.10), 1TB(16x 64GB DDR5-4800), 3.2TB NVMe, Ubuntu 22.04.4 LTS, AMX 켜짐.
결과, Phi-3-mini 4K:
중간 점수 EMR 대비
인텔 8592+ 12.63 1.00
AMD EPYC 9654 15.68 1.241
결과, Phi-3-mini 128K
중간 점수 EMR 대비
인텔 8592+ 13.92 1
AMD EPYC 9654 15.21 1.093 - SP5C-065: 2024년 6월 11일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 딥 러닝 권장 모델(dlrm-v2.99)(배치 크기=2000, Int8 정도, OneDNN 라이브러리, IPEX 익스텐션)을 실행하는 M7i. 48xl과 AWS HPC7a.96xlarge의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. M7i. 48xl: $9.6768/시간 HPC7a.96xlarge: $7.20/시간. AWS 가격: https://aws.amazon.com/ec2/pricing/on-demand/
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다. - SP5C-070: 2024년 7월 15일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 배치 크기 = 1, 입력 토큰 크기 = 512, 출력 토큰 크기 = 128, FP32 정도에서 24개 병렬로 PyTorch 및 Neural Magic Deepsparse 엔진에서 HuggingFace의 all-MiniLM-L6-v2 모델을 실행하는 m7i.48xl과 AWS m7a.48xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. m7i.48xl: $9.6768/시간 m7a.48xl: $11.12832/시간
AWS 가격: https://aws.amazon.com/ec2/pricing/on-demand/
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다. - SP5C-071: 배치 크기 = 4, 입력 토큰 크기 = 2016, 출력 토큰 크기 = 256인 인텔 TPP 라이브러리 단일 인스턴스의 BF16에서 7B 파라미터로 Llama2 모델을 실행하는 m7i.8xl과 AWS M7a.8xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다.
제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다. - SP5C-060: 2024년 6월 11일 기준, 다음과 같은 미국 동부(오하이오) Linux® 온디맨드 가격을 사용하여 배치 크기 = 1, 128, 256 입력 토큰 크기 = 512, 출력 토큰 크기 = 512인 FP32에서 BERT-Large- pruned80_quant-none.vnni 모델을 실행하는 M7i.4xl과 AWS m7a.4xl의 평균 점수 및 클라우드 운영 비용 절감 효과를 비교한 수치입니다. M7i.4xl: $0.8064/시간. M7a.4xl: $0.92736/시간. 제시된 클라우드 성능 결과는 구성의 테스트 날짜를 기준으로 합니다. 결과는 기본 구성의 변경, VM 및 VM 리소스 배치, 클라우드 서비스 공급업체의 최적화, 액세스한 클라우드 지역, 공동 테넌트, 시스템에서 동시에 실행되는 기타 워크로드 유형 등 기타 조건에 따라 다를 수 있습니다.
- SP5-185A: FAISS v1.7.4 1000 처리율 워크로드 주장은 2024년 4월 19일 AMD 내부 테스트를 기준으로 합니다. 2P 서버 구성: 2P EPYC 9654(96C/96T), BIOS 1006C (SMT=꺼짐, NPS=1, 전력 결정), 1.5TB (24x 64GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1.92TB, 중간 처리율 39.6점을 기록한 8인스턴스/24코어/인스턴스를 실행하는 Ubuntu® 22.04.3 LTS는 2P 제온 Platinum 8592+(64C/64T), BIOS 1.4.4(HT=꺼짐, 프로필=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, 중간 처리율 19.4점을 기록한 8인스턴스/16코어/인스턴스를 실행하는 Ubuntu 22.04.3 LTS의 성능의 2.04배입니다. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-251: XGBoost 2.0.3 처리율 워크로드 주장은 2024년 4월 19일 기준 AMD 내부 테스트에 기초합니다. 2P 서버 구성: 2P EPYC 9654(96C/192T), BIOS 1006C(SMT=꺼짐, NPS=1, 전력 결정), 1.5TB(24x 64GB DDR5-4800), Samsung MZQL21T9HCJR-00A07 1.92TB, Ubuntu 22.04.3 LTS 점수 203 Airline 중간 처리율(16개 인스턴스/12개 코어/인스턴스 실행) 및 2P 제온 Platinum 8592+(64C/128T)의 1.38배 및 1.71배 성능 각각에 대해 2057 Higgs 중간 처리율(32개 인스턴스/6개 코어/인스턴스 실행), BIOS 1.4.4(HT=꺼짐, 프로파일=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, Ubuntu 22.04.3 LTS 8개 인스턴스/16개 코어/인스턴스 실행 점수, 147 Airline 중간 처리율 및 4개 인스턴스/32개 코어/인스턴스 점수 1200 Higgs 중간 처리율. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-184A: SciKit-Learning Random Forest v2023.2 airline_ohe 데이터 세트 처리량 워크로드 주장은 2024년 4월 19일 AMD 내부 테스트를 기준으로 합니다. 2P 서버 구성: 2P EPYC 9654(96C/96T), BIOS 1006C (SMT=꺼짐, NPS=1, 전력 결정), 1.5TB(24x 64GB DDR5-4800), 2x Samsung MZQL21T9HCJR-00A07 1.7TB, 중간 처리율 166.8점을 기록한 12인스턴스/16코어/인스턴스를 실행하는 Ubuntu® 22.04.3 LTS는 2P 제온 Platinum 8592+(64C/64T), BIOS 1.4.4(HT=꺼짐, 프로필=최대 성능), 1TB(16x 64GB DDR5-4800), 인텔 SSDPF2KE032T1O 3.2TB NVMe, 중간 처리율 123.1점을 기록한 8인스턴스/16코어/인스턴스를 실행하는 Ubuntu 22.04.3 LTS의 성능의 1.36배입니다. 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다.
- SP5-252: 타사 테스트 OpenVINO 2023.2.dev FPS 비교는 일부 OpenVINO 테스트에 대한 2023년 12월 14일 기준 Phoronix 리뷰 https://www.phoronix.com/review/intel-xeon-platinum-8592/9를 기준으로 합니다. Vehicle Detection FP16, Person Detection FP16, Person Vehicle Bike Detection FP16, Road Segmentation ADAS FP16 및 Face Detection Retail FP16. Road Segmentation ADAS FP16은 최대 2.36배의 향상을 보였습니다. 테스트는 AMD에 의해 개별적으로 인증되지 않았습니다. 점수는 시스템 구성 및 사용된 결정 모드(전력 결정 사용됨)에 따라 달라집니다. OpenVINO는 Intel Corporation 또는 그 자회사의 상표입니다.
- SP5-051A: 2024년 4월 13일 기준 여러 VM 인스턴스를 실행하는 AMD 내부 테스트에 기초하여 TPCx-AI SF30 파생 워크로드를 비교한 수치입니다. 종합적인 엔드 투 엔드 AI 처리율 테스트는 TPCx-AI 벤치마크에서 파생되었으며, 엔드 투 엔드 AI 처리율 테스트 결과가 TPCx-AI 스펙을 준수하지 않기 때문에 게시된 TPCx-AI 결과와 비교할 수 없습니다. AMD 시스템 구성: 프로세서: AMD EPYC 9654 2개, 주파수: 2.4GHz | 3.7GHz, 코어: 소켓당 96개 코어(소켓당 1개의 NUMA 도메인), L3 캐시: 384MB/소켓(총 768MB), 메모리: 1.5TB(24개) 듀얼 랭크 DDR5-5600 64GB DIMM, 1DPC(플랫폼에서 최대 4800MHz 지원), NIC: 100GbE Mellanox CX-5(MT28800) 2개, 스토리지: 3.2TB Samsung MO003200KYDNC U.3 NVMe, BIOS: 1.56, BIOS 설정: SMT=켜짐, 결정성=Power, NPS=1, PPL=400W, 터보 부스트=사용, OS: Ubuntu® 22.04.3 LTS, 테스트 구성: 6개 인스턴스, 64개 vCPU/인스턴스, 종합적인 2663개 AI 사용 사례/분과 다음 인텔 시스템 구성 비교: 프로세서: 인텔® 제온® Platinum 8592+ 2개, 주파수: 1.9GHz | 3.9GHz, 코어: 소켓당 64개 코어(소켓당 1개의 NUMA 도메인), L3 캐시: 320MB/소켓(총 640MB), 메모리: 1TB(16) 듀얼 랭크 DDR5-5600 64GB DIMM, 1DPC, NIC: 1GbE Broadcom NetXtreme BCM5719 기가비트 이더넷 PCIe 4개, 스토리지: 3.84TB KIOXIA KCMYXRUG3T84 NVMe, BIOS: ESE124B-3.11, BIOS 설정: 하이퍼스레딩=활성화, 터보 부스트=활성화, SNC=비활성화, OS: Ubuntu® 22.04.3 LTS, 테스트 구성: 4개 인스턴스, 64개 vCPU/인스턴스, 종합적인 1607개 AI 사용 사례/분 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정에 따라 달라질 수 있습니다. TPC, TPC 벤치마크 및 TPC-C는 Transaction Processing Performance Council의 상표입니다.