AMD ROCm™ ソフトウェア
AMD ROCm ソフトウェアで GPU アクセラレーション アプリケーションを最適化します。一度だけコードを書けば、どこでも使えるアプローチで構築されています。
-
画像を拡大
AMD Instinct™ MI300X アクセラレータ
AMD Instinct™ MI300X アクセラレータは、生成 AI ワークロードおよび HPC アプリケーションでリーダーシップ パフォーマンスを発揮する設計です。
仕様比較
- AI パフォーマンス
- HPC 性能
- メモリ
AI パフォーマンス (ピーク TFLOPs)
競合アクセラレータと比較して最大 1.3 倍の AI パフォーマンス1
TF32 (スパース性機能)
FP16/BF16 (スパース性機能)
FP8 (スパース性機能)
HPC 性能 (ピーク TFLOPs)
競合アクセラレータと比較して最大 2.4 倍の HPC 性能2
FP64 (Vector)
FP64 (Tensor/Matrix)
FP32 (Vector)
メモリの容量と帯域幅
競合アクセラレータと比較して 2.4 倍のメモリ容量と 1.6 倍のピーク理論メモリ帯域幅3
メモリ容量
メモリ帯域幅
脚注
- MI300-17: AMD パフォーマンス ラボが 2023 年 11 月 11 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI300X (750 W) GPU で測定した結果、2,100 MHz のピーク ブースト エンジン クロックで 653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16)、1307.4 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点の演算能力が得られました。MI300X は、微細な構造のスパース性を活用できるため、演算効率が推定で 2 倍向上し、その結果、1,307.4 TFLOPS ピーク理論 TensorFloat-32 (TF32)、2,614.9 TFLOPS ピーク理論半精度 (FP16)、2,614.9 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、5,229.8 TFLOPS ピーク理論 8 ビット精度 (FP8)、5,229.8 TOPs INT8 スパース浮動小数点演算パフォーマンスが得られると予想されます。NVIDIA H100 SXM (80GB) 700W GPU での公表結果では、スパース性を持つ TensorFloat-32 (TF32) のピーク値が 989.4 TFLOPS、スパース性を持つ理論半精度 (FP16) のピーク値が 1,978.9 TFLOPS、スパース性を含む理論 Bfloat16 フォーマット精度 (BF16) のピーク値が 1,978.9 TFLOPS、スパース性を持つ 8 ビット精度 (FP8) のピーク理論が 3,957.8 TFLOPS、スパース性を持つ INT8 浮動小数点性能のピーク理論が 3,957.8 TOPs。Nvidia H100 ソース: https://resources.nvidia.com/en-us-tensor-core。
- MI300-18: AMD パフォーマンス ラボが 2023 年 11 月 11 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI300X (750 W) GPU で測定した結果、2,100 MHz のピーク ブースト エンジン クロックで 163.4 TFLOPS のピーク理論倍精度マトリックス (FP64 マトリックス)、81.7 TFLOPS ピーク理論倍精度 (FP64)、163.4 TFLOPS ピーク理論単精度マトリックス (FP32 マトリックス)、163.4 TFLOPS ピーク理論単精度 (FP32)、653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16)、1307.4 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点の演算能力が得られました。NVIDIA H100 SXM (80 GB) GPU に関して公開された結果では、66.9 TFLOPS ピーク理論倍精度テンソル (FP64 テンソル)、33.5 TFLOPS ピーク理論倍精度 (FP64)、66.9 TFLOPS ピーク理論単精度 (FP32)、494.7 TFLOPS ピーク TensorFloat-32 (TF32)*、989.4 TFLOPS 理論半精度テンソル (FP16 テンソル)、133.8 TFLOPS ピーク理論半精度 (FP16)、989.4 TFLOPS ピーク理論 Bfloat16 テンソル フォーマット精度 (BF16 テンソル)、133.8 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、1,978.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、1,978.9 TOPs ピーク理論 INT8 浮動小数点の演算能力が得られました。Nvidia H100 ソース: https://resources.nvidia.com/en-us-tensor-core/。* Nvidia H100 GPU は FP32 Tensor をサポートしていません。
- MI300-05A: 2023 年 11 月 17 日、AMD パフォーマンス ラボが次のシステムを使用して計算した結果です。AMD Instinct™ MI300X OAM アクセラレータ 750W (192 GB HBM3) は、AMD CDNA™ 3 5 nm FinFet プロセス テクノロジを使用して設計され、192 GB HBM3 メモリ容量と 5.325 TFLOPS のピーク理論メモリ帯域幅パフォーマンスが得られました。MI300X メモリ バス インターフェイスは 8,192、メモリ データ レートは 5.2 Gbps、合計ピーク メモリ帯域幅は 5.325 TB/秒 (8,192 ビット メモリ バス インターフェイス * 5.2 Gbps メモリ データ レート/8) です。NVidia Hopper H200 (141 GB) SXM GPU アクセラレータに関して公開されている結果の最高値は、141 GB の HBM3e メモリ容量と 4.8 TB/秒 の GPU メモリ帯域幅パフォーマンスです (https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446)。NVidia Hopper H100 (80 GB) SXM5 GPU アクセラレータに関して公開されている結果の最高値は、80 GB の HBM3 メモリ容量と 3.35 TB/秒 の GPU メモリ帯域幅パフォーマンスです (https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet)。
脚注
- MI300-17: AMD パフォーマンス ラボが 2023 年 11 月 11 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI300X (750 W) GPU で測定した結果、2,100 MHz のピーク ブースト エンジン クロックで 653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16)、1307.4 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点の演算能力が得られました。MI300X は、微細な構造のスパース性を活用できるため、演算効率が推定で 2 倍向上し、その結果、1,307.4 TFLOPS ピーク理論 TensorFloat-32 (TF32)、2,614.9 TFLOPS ピーク理論半精度 (FP16)、2,614.9 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、5,229.8 TFLOPS ピーク理論 8 ビット精度 (FP8)、5,229.8 TOPs INT8 スパース浮動小数点演算パフォーマンスが得られると予想されます。NVIDIA H100 SXM (80GB) 700W GPU での公表結果では、スパース性を持つ TensorFloat-32 (TF32) のピーク値が 989.4 TFLOPS、スパース性を持つ理論半精度 (FP16) のピーク値が 1,978.9 TFLOPS、スパース性を含む理論 Bfloat16 フォーマット精度 (BF16) のピーク値が 1,978.9 TFLOPS、スパース性を持つ 8 ビット精度 (FP8) のピーク理論が 3,957.8 TFLOPS、スパース性を持つ INT8 浮動小数点性能のピーク理論が 3,957.8 TOPs。Nvidia H100 ソース: https://resources.nvidia.com/en-us-tensor-core。
- MI300-18: AMD パフォーマンス ラボが 2023 年 11 月 11 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI300X (750 W) GPU で測定した結果、2,100 MHz のピーク ブースト エンジン クロックで 163.4 TFLOPS のピーク理論倍精度マトリックス (FP64 マトリックス)、81.7 TFLOPS ピーク理論倍精度 (FP64)、163.4 TFLOPS ピーク理論単精度マトリックス (FP32 マトリックス)、163.4 TFLOPS ピーク理論単精度 (FP32)、653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16)、1307.4 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点の演算能力が得られました。NVIDIA H100 SXM (80 GB) GPU に関して公開された結果では、66.9 TFLOPS ピーク理論倍精度テンソル (FP64 テンソル)、33.5 TFLOPS ピーク理論倍精度 (FP64)、66.9 TFLOPS ピーク理論単精度 (FP32)、494.7 TFLOPS ピーク TensorFloat-32 (TF32)*、989.4 TFLOPS 理論半精度テンソル (FP16 テンソル)、133.8 TFLOPS ピーク理論半精度 (FP16)、989.4 TFLOPS ピーク理論 Bfloat16 テンソル フォーマット精度 (BF16 テンソル)、133.8 TFLOPS ピーク理論 Bfloat16 フォーマット精度 (BF16)、1,978.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、1,978.9 TOPs ピーク理論 INT8 浮動小数点の演算能力が得られました。Nvidia H100 ソース: https://resources.nvidia.com/en-us-tensor-core/。* Nvidia H100 GPU は FP32 Tensor をサポートしていません。
- MI300-05A: 2023 年 11 月 17 日、AMD パフォーマンス ラボが次のシステムを使用して計算した結果です。AMD Instinct™ MI300X OAM アクセラレータ 750W (192 GB HBM3) は、AMD CDNA™ 3 5 nm FinFet プロセス テクノロジを使用して設計され、192 GB HBM3 メモリ容量と 5.325 TFLOPS のピーク理論メモリ帯域幅パフォーマンスが得られました。MI300X メモリ バス インターフェイスは 8,192、メモリ データ レートは 5.2 Gbps、合計ピーク メモリ帯域幅は 5.325 TB/秒 (8,192 ビット メモリ バス インターフェイス * 5.2 Gbps メモリ データ レート/8) です。NVidia Hopper H200 (141 GB) SXM GPU アクセラレータに関して公開されている結果の最高値は、141 GB の HBM3e メモリ容量と 4.8 TB/秒 の GPU メモリ帯域幅パフォーマンスです (https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446)。NVidia Hopper H100 (80 GB) SXM5 GPU アクセラレータに関して公開されている結果の最高値は、80 GB の HBM3 メモリ容量と 3.35 TB/秒 の GPU メモリ帯域幅パフォーマンスです (https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet)。
一部の AMD テクノロジでは、サードパーティによる有効化またはアクティブ化が必要になる場合があります。サポートされる機能はオペレーティング システムによって異なる場合があります。 具体的な機能については、システム メーカーにお問い合わせください。完全に安全なテクノロジや製品はありません。