AMD Instinct™ MI325X 가속기

AI 성능의 새로운 표준

AI 가속기에 대한 고객 투자는 2028년까지 5천억 달러에 이를 것으로 전망되며, 이는 단 4년 만에 5천억 달러의 가치를 비즈니스에 제공하게 되는 것입니다. AI가 비즈니스에 가져다주는 생산성, 개선, 혁신의 수준은 사상 초유이며 비즈니스 리더들은 이 사실을 잘 알고 있습니다. 이것이 바로 이들이 이미 수십억을 투자하며 업무 방식을 혁신한 이유입니다. 수백만 명이 GPT 4, Llama 3.1 405B, Hugging Face 플랫폼의 오픈 소스 모델 100만 가지 이상 중 상당수와 같은 인기 AI 모델을 통해 실행되는 애플리케이션을 사용하여 이미 일상적으로 AMD Instinct™ 가속기에 의존하고 있습니다.

그 수준의 생산성은 급증할 것입니다. 실제로 새로운 AMD Instinct™ MI325X 가속기를 출시하며 AMD는 이러한 상황을 앞당기고 있습니다.

AMD Instinct™ MI325X 가속기

방대한 메모리와 업계 최고 성능의 결합

AMD Instinct™ MI325X 가속기는 생성형 AI 모델 및 데이터 센터 성능과 관련해 새로운 표준을 정립합니다. 3세대 AMD CDNA™ 아키텍처에 기반하여 모델 학습, 추론 등 까다로운 여러 AI 작업에서 뛰어난 성능과 효율성을 발휘하도록 설계되었습니다. 

이와 같이 집약적인 AI 애플리케이션에는 많은 메모리가 필요하기 때문에 업계를 선도하는 256GB의 차세대 HBM3e 메모리 용량과 6TB/s의 대역폭을 찾게 됩니다. 필요한 프로세싱 파워 및 광범위한 데이터 유형 지원과 결합된 AMD Instinct MI325X 가속기는 사실상 모든 AI 솔루션에 대해 비즈니스가 필요로 하는 수준의 성능을 제공합니다.¹

AMD Instinct MI325X 가속기를 경쟁 제품과 비교해 보면 Mixtral 8x7B, Mistral 7B, Meta Llama-3.1 70B와 같은 모델에서 최대 1.4배의 월등한 추론 성능 향상을 볼 수 있습니다.^{2, 3, 4}

성능 수치와 함께 생산성이 높아지면서 고객은 업계 최고의 메모리 용량과 그에 따른 이점을 누리게 될 것입니다. 고객이 AI 거대 언어 모델에 더 적은 GPU를 사용할 수 있게 되면서 더 작은 클러스터를 사용하여 이전 세대 제품에 비해 동일하거나 더 나은 결과를 달성할 수 있습니다.⁵ 요약하면, 배포 풋프린트가 작아지고, 배포가 간소화되고, 에너지 절감에 기여하는 결과가 나오는 것입니다. AMD Instinct MI325X 가속기는 막대한 TCO 없이 극한의 성능을 원하는 비즈니스에 확실한 선택지입니다.

AMD Instinct™ MI325X 플랫폼

타협 없는 컴퓨팅 리더십의 기반

오늘날의 거대 언어 모델과 생성형 AI가 빠른 결과를 도출하기 위해서는 여러 데이터 유형에 걸친 신속한 가속화, 대규모 데이터 세트를 처리할 수 있는 큰 메모리와 대역폭, 집약적인 I/O 대역폭 등 세 가지 요소가 필요합니다.

이러한 새로운 가속기를 갖춘 플랫폼이라면 고객은 세 가지 모두를 확보할 수 있습니다. 새로운 산업 표준 베이스보드(UBB 2.0)는 최대 8개의 AMD Instinct™ MI325X 가속기와 2TB의 HBM3e 메모리를 탑재하여 가장 까다로운 AI 모델도 처리할 수 있으며, 8개의 x16 PCIe® Gen 5 호스트 I/O 연결과 각 가속기 간에 직접 연결을 제공하는 AMD Infinity Fabric™ 메시 기술을 통해 데이터 병목 현상은 과거의 일이 되었습니다.

유사한 경쟁사 플랫폼에 비해 MI325X 플랫폼은 1.8배의 메모리 용량, 1.3배의 메모리 대역폭을 제공하며 최대 1.4배 더 높은 추론 성능으로 한 발 크게 앞서갑니다. ^{6, 7, 8}

기존 AMD Instinct 인프라에서 업그레이드하려는 고객을 위해 AMD Instinct MI325X 가속기는 AMD Instinct™ MI300X 플랫폼과 즉시 호환이 가능하므로 출시 기간을 단축하고 비용이 많이 드는 인프라 변경을 최소화합니다. 

AMD ROCm™ 플랫폼

오픈 소프트웨어를 통한 AI 추론 및 학습 가속화

AMD Instinct™ MI325X 가속기는 AMD 가속 컴퓨팅의 기반인 AMD ROCm™ 소프트웨어의 성능을 통해 차세대 AI 애플리케이션 또는 첨단 AI 모델에서 작업하거나 복잡한 시뮬레이션을 최적화하는 사용자가 놀라운 기능을 활용할 수 있도록 지원합니다.

AMD 가속기를 선택하는 고객은 PyTorch 및 TensorFlow 등 업계 표준 프레임워크에 대한 0일 차 지원을 받을 수 있어, AI 모델 마이그레이션 및 배포가 간소화되고 필요한 코드 변경은 최소화됩니다. 또한 최신 AMD ROCm 릴리스에서는 AMD Instinct 가속기로 컴파일러, 라이브러리, 런타임 지원이 최적화되어 학습이 1.8배, GPU 추론 성능이 2.4배 개선되며, 빠른 모델 융합, 정확한 모델 예측, 놀라울 만큼 효율적인 GPU 활용성을 보장합니다.^{9, 10}

AMD Instinct™ MI325X 가속기에 관해 자세히 알아보고 싶으신가요? AMD.com을 방문하거나 AMD 담당자에게 자세한 내용과 이용 가능 여부를 문의하세요.