광범위한 산업 영향력을 제공하는 AI 기술
AI는 워크로드와 산업을 획기적으로 변화시키면서 효율성, 혁신, 경쟁력을 강화하고 있습니다. 제조 및 자동차 분야의 공정 자동화부터 금융 사기 방지와 의료 연구 가속화에 이르기까지 기업은 AI 기술의 힘을 활용하여 새로운 기회를 창출하고 운영을 최적화하며 이전에는 상상할 수 없었던 방식으로 고객에게 가치를 제공할 수 있습니다.
전반적인 데이터 센터 워크로드를 지원하는 AMD
기업에 AI를 도입하는 것은 다소 부담이 따를 수 있습니다. 하지만 AMD 포트폴리오가 전반적인 AI 워크로드를 지원하는 방법을 이해하면 응용 분야 요구 사항을 명확히 파악할 수 있습니다. 기업 데이터 센터에 AI 워크로드가 배포되고 유지 관리되는 방식을 이해하면 인프라 요구 사항을 명확히 파악하는 데 도움이 됩니다.
범용
AI 추론
AI 훈련
이상적인 AI 솔루션 발전
공간과 에너지 확보를 통한 데이터 센터의 AI 수용
많은 데이터 센터는 이미 가용 공간이나 전력 또는 두 가지 모두의 측면에서 한계 용량을 모두 사용하고 있거나 이에 근접하여 가동하고 있습니다.1 AMD EPYC 프로세서 기반 서버는 필수적인 워크로드 통합을 가능하게 하는 최고의 성능과 효율성을 제공하여 기존 데이터 센터에서 새로운 AI 워크로드를 지원할 수 있는 공간과 에너지를 더 많이 확보할 수 있습니다.
100대의 기존 2P 인텔® 제온® Platinum 8280 CPU 기반 서버를 14대의 새로운 AMD EPYC™ 9965 CPU 기반 서버로 교체2
*총 최대 39,000 유닛의 정수 성능 제공.
최대 86% 더 적은 서버
최대 69% 더 적은 전력 사용
최대 65% 더 적은 3년간 TCO
비용 및 TCO 절감, AMD EPYC™ 9965 CPU 기반 서버와 인텔® 제온® Platinum 8592+ CPU 기반 서버 비교2
*총 최대 39,000 유닛의 정수 성능 제공.
최대 60% 더 적은 서버
최대 40% 더 적은 전력 사용
최대 41% 더 적은 3년 TCO
최고의 추론 성능
AMD EPYC 프로세서 기반 서버는 다양한 모델 및 사용 사례에서 추론을 실행하기에 이상적인 CPU 기반 AI 플랫폼입니다. AMD EPYC CPU는 실시간 추론에서 배치 또는 오프라인 추론에 이르는 다양한 요구 사항을 지원할 수 있는 유연성을 제공합니다.
192코어 AMD EPYC™ 9965 프로세서는 최상급 64코어 인텔 제온 8592+ 프로세서보다 3배 빠른 추론 처리율(FP32 정밀도로 널리 사용되는 그래디언트 부스트 모델 XGBoost(Higgs 데이터 세트)를 실행하는 2P 서버의 시간당 평균 실행 횟수)을 제공합니다.3
GPU에 적합한 호스트 CPU
더 크고 까다로운 AI 워크로드를 실행하려면 GPU를 선택해야 합니다. 최대 처리량을 달성하기 위해 GPU를 지원하는 것은 호스트 CPU의 역할입니다. 이러한 귀중한 GPU를 최대한 활용하려면 적절한 호스트 플랫폼 선택이 중요합니다. AMD EPYC 프로세서 기반 서버는 첨단 GPU AI 엔진의 호스팅을 지원하는 성능, 확장성, 호환성, 에너지 효율성을 제공합니다. GPU 호스팅에 중요한 CPU 기능에 대해 알아보세요.
AMD EPYC CPU로 구동되는 수백 개의 인증된 GPU 가속 시스템 중에서 선택하여 AI 워크로드를 가속할 수 있습니다. AMD Instinct™ GPU 가속 솔루션 보기
Asus, Dell, Gigabyte, HPE, Lenovo, Supermicro를 포함한 선두 플랫폼 솔루션 공급업체에 다른 인증 또는 검증된 GPU 가속 솔루션이 있는지 문의하세요.
고객 추천글
리소스
AI 지원 인프라를 위한 실용적인 접근 방식
데이터 센터 현대화에서 솔루션의 크기를 적절히 조정하고 크기와 복잡성이 다양한 작업을 위한 CPU-GPU 사용을 최적화하는 데 초점을 맞춘 AI 인프라 전략을 살펴보세요.
AMD 데이터 센터 동향 구독하기
AMD EPYC 영업 전문가 연락 요청하기
각주
- AMD 내부 데이터 기반 분석
- 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. 이 데이터를 활용하여 '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 환경에 미치는 영향을 추산했습니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.
각주
- AMD 내부 데이터 기반 분석
- 9xx5TCO-001B: 이 시나리오에는 많은 가정 및 추정이 포함되어 있으며, AMD 내부 연구 및 최대 근사치에 기반하며, 정보 제공 목적의 예시로만 간주하여야 하고 실제 테스트에 대한 의사 결정의 기준으로 사용되어서는 안 됩니다. AMD 서버 및 온실가스 배출 TCO(총 소유 비용) 견적 툴 버전 1.12는 2024년 10월 10일 현재 39100개 유닛의 SPECrate2017_int_base 성능의 TOTAL_PERFORMANCE를 제공하는 데 필요한 선별된 AMD EPYC™ 및 인텔® 제온® CPU 기반 서버 솔루션을 비교합니다. 이 시나리오에서는 점수가 391점인 기존 2P 인텔 제온 28코어 Platinum_8280 기반 서버와 점수가 3000점(https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)인 2P EPYC 9965(192C) 기반 서버를 1130점(https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)인 2P 인텔 제온 Platinum 8592+(64C) 기반 서버와의 비교 업그레이드와 함께 비교합니다. 2P EPYC 9965의 실제 SPECrate®2017_int_base 점수는 OEM 게시물에 따라 달라집니다. 이 데이터를 활용하여 '2024 전 세계 국가별 전력 배출 계수 10 – 2024년 7월' 및 미국 환경보호청 '온실가스 등가 계산기'의 국가/지역별 전기적 계수를 사용하여 환경에 미치는 영향을 추산했습니다.
- 9xx5-040A: XGBoost(시간당 실행 횟수) 처리율 결과는 2024년 9월 5일 기준 AMD 내부 테스트에 기초합니다. XGBoost 구성: v2.2.1, Higgs 데이터 세트, 32코어 인스턴스, FP32 2P AMD EPYC 9965(총 384코어), 32코어 인스턴스 12개, 1.5TB 24x64GB DDR5-6400(6000MT/s), 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu® 22.04.4 LTS, 6.8.0-45-generic(tuned-adm profile throughput-performance, ulimit -l 198078840, ulimit -n 1024, ulimit -s 8192), BIOS RVOT1000C(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9755(총 256코어), 1.5TB 24x64GB DDR5-6400(6000MT/s), 1DPC, 1.0Gbps NetXtreme BCM5720 기가비트 이더넷 PCIe, 3.5TB Samsung MZWLO3T8HCLS-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198094956, ulimit -n 1024, ulimit -s 8192), BIOS RVOT0090F(SMT=off, Determinism=Power, Turbo Boost=Enabled), NPS=1 2P AMD EPYC 9654(총 192코어), 1.5TB 24x64GB DDR5-4800, 1DPC, 2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®, Ubuntu 22.04.4 LTS, 6.8.0-40-generic(tuned-adm profile throughput-performance, ulimit -l 198120988, ulimit -n 1024, ulimit -s 8192), BIOS TTI100BA(SMT=off, Determinism=Power), NPS=1 vs 2P 제온 Platinum 8592+(총 128코어), AMX On, 1TB 16x64GB DDR5-5600, 1DPC, 1.0Gbps NetXtreme BCM5719 기가비트 이더넷 PCIe, 3.84 TB KIOXIA KCMYXRUG3T84 NVMe®, Ubuntu 22.04.4 LTS, 6.5.0-35 generic(tuned-adm profile throughput-performance, ulimit -l 132065548, ulimit -n 1024, ulimit -s 8192), BIOS ESE122V(SMT=off, Determinism=Power, Turbo Boost = Enabled) 결과: CPU 실행 1 실행 2 실행 3 중앙값 상대 처리율 세대별 2P Turin 192C, NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C, NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C, NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA 결과는 시스템 구성, 소프트웨어 버전 및 BIOS 설정 등의 요인에 따라 달라질 수 있습니다.