AMD ROCm™ 소프트웨어
AMD ROCm 소프트웨어로 GPU 가속 애플리케이션을 최적화하세요. 한 번의 코드로 어디서나 사용 가능한 접근 방식을 기반으로 구축되었습니다.
-
이미지 확대
AMD Instinct™ MI300X 가속기
AMD Instinct™ MI300X 가속기는 생성형 AI 워크로드 및 HPC 애플리케이션에 최고의 성능을 제공하도록 설계되었습니다.
스펙 비교
- AI 성능
- HPC 성능
- 메모리
AI 성능(피크 TFLOPs)
경쟁사 가속기 대비 최대 1.3배의 AI 성능1
TF32(스파시티)
FP16/BF16(스파시티)
FP8(스파시티)
HPC 성능(피크 TFLOPs)
경쟁사 가속기 대비 최대 2.4배의 HPC 성능2
FP64(Vector)
FP64(텐서/매트릭스)
FP32(Vector)
메모리 용량 및 대역폭
경쟁사 가속기 대비 2.4배의 메모리 용량 및 1.6배의 피크 이론상 메모리 대역폭3
메모리 용량
메모리 대역폭
각주
- MI300-17: 2023년 11월 11일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI300X(750W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16), 1307.4TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS의 이론상 최대 8비트 정도(FP8), 2614.9TOPs의 INT8 부동 소수점 성능을 기록했습니다. MI300X는 정교한 조직 구조 스파시티를 활용해 수학 연산 효율을 약 2배 향상할 것으로 예상되며 1,307.4TFLOPS의 이론상 최대 TensorFloat-32(TF32), 2,614.9TFLOPS의 이론상 최대 반정도(FP16), 2,614.9TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 5,229.8TFLOPS의 이론상 최대 8비트 정도(FP8), 스파시티 사용 시 5,229.8TOPS의 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 SXM(80GB) 700W GPU에 대해 게시된 결과는 스파시티 사용 시 989.4TFLOPs의 최대 TensorFloat-32(TF32), 스파시티 사용 시 1,978.9TFLOPS의 이론상 최대 반정도(FP16), 스파시티 사용 시 1,978.9TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 스파시티 사용 시 3,957.8TFLOPS의 이론상 최대 8비트 정도(FP8), 스파시티 부동 소수점 성능 사용 시 3,957.8TOPs의 이론상 최대 INT8을 기록했습니다. Nvidia H100 출처: https://resources.nvidia.com/en-us-tensor-core.
- MI300-18: 2023년 11월 11일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI300X(750W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 163.4TFLOPS의 이론상 최대 배정도 매트릭스(FP64 매트릭스), 81.7TFLOPS의 이론상 최대 배정도(FP64), 163.4TFLOPS의 이론상 최대 단정도 매트릭스(FP32 매트릭스), 163.4TFLOPS의 이론상 최대 단정도(FP32), 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16), 1307.4TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS의 이론상 최대 8비트 정도(FP8), 2614.9TOPs의 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 SXM(80GB) GPU에 대해 발표된 결과는 66.9TFLOPS의 이론상 최대 배정도 텐서(FP64 텐서), 33.5TFLOPS의 이론상 최대 배정도(FP64), 66.9TFLOPS의 이론상 최대 단정도(FP32), 494.7TFLOPS의 최대 TensorFloat-32(TF32)*, 989.4TFLOPS의 이론상 최대 반정도 텐서(FP16 텐서), 133.8TFLOPS의 이론상 최대 반정도(FP16), 989.4TFLOPS의 이론상 최대 Bfloat16 텐서 포맷 정도(BF16 텐서), 133.8TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 1,978.9TFLOPS의 이론상 최대 8비트 정도(FP8), 1,978.9TOPs의 이론상 최대 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 출처: https://resources.nvidia.com/en-us-tensor-core/ * Nvidia H100 GPU는 FP32 Tensor를 지원하지 않습니다.
- MI300-05A: 2023년 11월 17일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm FinFet 공정 기술로 설계된 AMD Instinct™ MI300X OAM 가속기 750W(192GB HBM3)에 대해 계산한 결과 192GB의 HBM3 메모리 용량과 5.325TFLOPS의 이론상 최대 메모리 대역폭 성능을 기록했습니다. MI300X 메모리 버스 인터페이스는 8,192비트이고 메모리 데이터율은 5.2Gbps로 총 최대 메모리 대역폭은 5.325TB/s를 기록했습니다(8,192비트 메모리 버스 인터페이스 * 5.2Gbps 메모리 데이터율/8). NVidia Hopper H200(141GB) SXM GPU 가속기에 대해 게시된 최고 결과는 141GB HBM3e 메모리 용량 및 4.8TB/s GPU 메모리 대역폭 성능입니다(https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446). NVidia Hopper H100(80GB) SXM5 GPU 가속기에 대해 게시된 최고 결과는 80GB HBM3 메모리 용량 및 3.35TB/s GPU 메모리 대역폭 성능입니다(https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet).
각주
- MI300-17: 2023년 11월 11일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI300X(750W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16), 1307.4TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS의 이론상 최대 8비트 정도(FP8), 2614.9TOPs의 INT8 부동 소수점 성능을 기록했습니다. MI300X는 정교한 조직 구조 스파시티를 활용해 수학 연산 효율을 약 2배 향상할 것으로 예상되며 1,307.4TFLOPS의 이론상 최대 TensorFloat-32(TF32), 2,614.9TFLOPS의 이론상 최대 반정도(FP16), 2,614.9TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 5,229.8TFLOPS의 이론상 최대 8비트 정도(FP8), 스파시티 사용 시 5,229.8TOPS의 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 SXM(80GB) 700W GPU에 대해 게시된 결과는 스파시티 사용 시 989.4TFLOPs의 최대 TensorFloat-32(TF32), 스파시티 사용 시 1,978.9TFLOPS의 이론상 최대 반정도(FP16), 스파시티 사용 시 1,978.9TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 스파시티 사용 시 3,957.8TFLOPS의 이론상 최대 8비트 정도(FP8), 스파시티 부동 소수점 성능 사용 시 3,957.8TOPs의 이론상 최대 INT8을 기록했습니다. Nvidia H100 출처: https://resources.nvidia.com/en-us-tensor-core.
- MI300-18: 2023년 11월 11일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm | 6nm FinFET 공정 기술로 설계된 AMD Instinct™ MI300X(750W) GPU를 대상으로 2,100MHz 최대 부스트 엔진 클럭에서 측정한 결과 163.4TFLOPS의 이론상 최대 배정도 매트릭스(FP64 매트릭스), 81.7TFLOPS의 이론상 최대 배정도(FP64), 163.4TFLOPS의 이론상 최대 단정도 매트릭스(FP32 매트릭스), 163.4TFLOPS의 이론상 최대 단정도(FP32), 653.7TFLOPS의 이론상 최대 TensorFloat-32(TF32), 1307.4TFLOPS의 이론상 최대 반정도(FP16), 1307.4TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 2614.9TFLOPS의 이론상 최대 8비트 정도(FP8), 2614.9TOPs의 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 SXM(80GB) GPU에 대해 발표된 결과는 66.9TFLOPS의 이론상 최대 배정도 텐서(FP64 텐서), 33.5TFLOPS의 이론상 최대 배정도(FP64), 66.9TFLOPS의 이론상 최대 단정도(FP32), 494.7TFLOPS의 최대 TensorFloat-32(TF32)*, 989.4TFLOPS의 이론상 최대 반정도 텐서(FP16 텐서), 133.8TFLOPS의 이론상 최대 반정도(FP16), 989.4TFLOPS의 이론상 최대 Bfloat16 텐서 포맷 정도(BF16 텐서), 133.8TFLOPS의 이론상 최대 Bfloat16 포맷 정도(BF16), 1,978.9TFLOPS의 이론상 최대 8비트 정도(FP8), 1,978.9TOPs의 이론상 최대 INT8 부동 소수점 성능을 기록했습니다. Nvidia H100 출처: https://resources.nvidia.com/en-us-tensor-core/ * Nvidia H100 GPU는 FP32 Tensor를 지원하지 않습니다.
- MI300-05A: 2023년 11월 17일 기준, AMD 퍼포먼스 랩이 AMD CDNA™ 3 5nm FinFet 공정 기술로 설계된 AMD Instinct™ MI300X OAM 가속기 750W(192GB HBM3)에 대해 계산한 결과 192GB의 HBM3 메모리 용량과 5.325TFLOPS의 이론상 최대 메모리 대역폭 성능을 기록했습니다. MI300X 메모리 버스 인터페이스는 8,192비트이고 메모리 데이터율은 5.2Gbps로 총 최대 메모리 대역폭은 5.325TB/s를 기록했습니다(8,192비트 메모리 버스 인터페이스 * 5.2Gbps 메모리 데이터율/8). NVidia Hopper H200(141GB) SXM GPU 가속기에 대해 게시된 최고 결과는 141GB HBM3e 메모리 용량 및 4.8TB/s GPU 메모리 대역폭 성능입니다(https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446). NVidia Hopper H100(80GB) SXM5 GPU 가속기에 대해 게시된 최고 결과는 80GB HBM3 메모리 용량 및 3.35TB/s GPU 메모리 대역폭 성능입니다(https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet).
특정 AMD 기술을 사용하려면 타사 활성화 또는 활성화가 필요할 수 있습니다. 지원되는 기능은 운영 체제에 따라 다를 수 있습니다. 특정 기능에 대해서는 시스템 제조업체에 문의하십시오. 어떤 기술이나 제품도 완전히 안전할 수는 없습니다.