AMD ROCm™ ソフトウェア
AMD ROCm ソフトウェアで GPU アクセラレーション アプリケーションを最適化します。一度だけコードを書けば、どこでも使えるアプローチで構築されています。
-
画像を拡大
AMD Instinct™ MI325X アクセラレータ
AMD Instinct™ MI325X GPU アクセラレータは、AI パフォーマンスの新たな標準を確立し、トレーニングと推論に驚異的なパフォーマンスと効率を提供します。
仕様比較
- AI パフォーマンス
- HPC 性能
- メモリ
AI パフォーマンス (ピーク TFLOPs)
競合アクセラレータと比較して最大 1.3 倍の AI パフォーマンス1、2
TF32
FP16/BF16 (Tensor/Matrix)
FP8
H200 SXM 141 GB
MI325X OAM 256 GB
HPC パフォーマンス (ピーク TFLOPs)
競合アクセラレータと比較して最大 2.4 倍の HPC 性能2
FP64 (Vector)
FP64 (Tensor/Matrix)
FP32 (Vector)
H200 SXM 141 GB
MI325X OAM 256 GB
メモリの容量と帯域幅
競合アクセラレータと比較して 1.8 倍のメモリ容量と 1.2 倍のメモリ帯域幅3
メモリ容量
メモリ帯域幅
H200 SXM 141 GB
MI325X OAM 256 GB
脚注
- MI325-002 - 2024 年 5 月 28 日に AMD パフォーマンス ラボで計算を実施しました。AMD Instinct™ MI325X GPU を計測したところ、結果は次のようになりました。1307.4 TFLOPS のピーク理論半精度 (FP16)、1307.4 TFLOPS のピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS のピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点演算パフォーマンス。実際のパフォーマンスは最終仕様およびシステム構成により異なる場合があります。
Nvidia H200 SXM (141 GB) GPU に関して、次の結果が公開されています。989.4 TFLOPS ピーク理論半精度 Tensor (FP16 Tensor)、989.4 TFLOPS ピーク理論 Bfloat16 Tensor フォーマット精度 (BF16 Tensor)、1,978.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、1,978.9 TOPs ピーク理論 INT8 浮動小数点演算パフォーマンス。BFLOAT16 Tensor コア、FP16 Tensor コア、FP8 Tensor コアおよび INT8 Tensor コア パフォーマンスは、Nvidia によりスパース性を使用して公開されました。AMD は、比較目的でこれらの数値を 2 で割ってスパース性なし/密度に変換しました。これらの数値は上に表示されます。
NVIDIA H200 の出典: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 および https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
注記: Nvidia H200 GPU の公開された FLOPS パフォーマンスは H100 製品のものと同じです (https://resources.nvidia.com/en-us-tensor-core/)。MI325-02
- MI325-008 - AMD パフォーマンス ラボが 2024 年 10 月 2 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI325X (1000 W) GPU で計算した結果、2,100 MHz のピーク ブースト エンジン クロックで 163.4 TFLOPS のピーク理論倍精度マトリックス (FP64 マトリックス)、81.7 TFLOPS ピーク理論倍精度 (FP64)、163.4 TFLOPS ピーク理論単精度マトリックス (FP32 マトリックス)、163.4 TFLOPS ピーク理論単精度 (FP32)、653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16) が得られました。実際のパフォーマンスは最終仕様およびシステム構成により異なる場合があります。
Nvidia H200 SXM (141 GB) GPU に関して、次の結果が公開されています。 66.9 TFLOPS ピーク理論倍精度 Tensor (FP64 Tensor)、33.5 TFLOPS ピーク理論倍精度 (FP64)、66.9 TFLOPS ピーク理論単精度 (FP32)、494.7 TFLOPS ピーク TensorFloat-32 (TF32)、989.5 TFLOPS ピーク理論半精度 Tensor (FP16 Tensor)。TF32 Tensor コア パフォーマンスは、Nvidia によりスパース性を使用して公開されました。AMD は、比較目的でこれらの数値を 2 で割ってスパース性なし/密度に変換しました。この数値は上に表示されます。
NVIDIA H200 の出典: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 および https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
注記: Nvidia H200 GPU の公開された FLOPS パフォーマンスは H100 製品のものと同じです (https://resources.nvidia.com/en-us-tensor-core/)。
* Nvidia H200 GPU は FP32 Tensor をサポートしていません。
- MI325-001A - 計算は、2024 年 9 月 26 日時点での仕様および/または推定に基づいて AMD パフォーマンス ラボにより実行されたものです。AMD Instinct™ MI325X OAM アクセラレータは、256 GB HBM3E メモリ容量と 6 TB/秒 GPU ピーク理論メモリ帯域幅のパフォーマンスを発揮します。製品版の半導体によって、実際の結果は異なる場合があります。
NVIDIA Hopper H200 (141 GB) SXM GPU アクセラレータの最高の公開結果は、141 GB HBM3E メモリ容量、4.8 TB/秒 GPU メモリ帯域幅パフォーマンスとなっています。 https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446
NVIDIA Blackwell HGX B100 (192 GB) 700 W GPU アクセラレータの公開結果で最高の値は以下のようになっています。HBM3E メモリ容量は 192 GB、GPU メモリの帯域幅パフォーマンスは 8 TB/秒。
NVIDIA Blackwell HGX B200 (192 GB) GPU アクセラレータの公開結果で最高の値は以下のようになっています。HBM3E メモリ容量は 192 GB、GPU メモリの帯域幅パフォーマンスは 8 TB/秒。
Nvidia Blackwell の仕様については、https://resources.nvidia.com/en-us-blackwell-architecture?_gl=1*1r4pme7*_gcl_aw*R0NMLjE3MTM5NjQ3NTAuQ2p3S0NBancyNkt4QmhCREVpd0F1NktYdDlweXY1dlUtaHNKNmhPdHM4UVdPSlM3dFdQaE40WkI4THZBaWFVajFy をご覧ください。
脚注
- MI325-002 - 2024 年 5 月 28 日に AMD パフォーマンス ラボで計算を実施しました。AMD Instinct™ MI325X GPU を計測したところ、結果は次のようになりました。1307.4 TFLOPS のピーク理論半精度 (FP16)、1307.4 TFLOPS のピーク理論 Bfloat16 フォーマット精度 (BF16)、2614.9 TFLOPS のピーク理論 8 ビット精度 (FP8)、2614.9 TOPs INT8 浮動小数点演算パフォーマンス。実際のパフォーマンスは最終仕様およびシステム構成により異なる場合があります。
Nvidia H200 SXM (141 GB) GPU に関して、次の結果が公開されています。989.4 TFLOPS ピーク理論半精度 Tensor (FP16 Tensor)、989.4 TFLOPS ピーク理論 Bfloat16 Tensor フォーマット精度 (BF16 Tensor)、1,978.9 TFLOPS ピーク理論 8 ビット精度 (FP8)、1,978.9 TOPs ピーク理論 INT8 浮動小数点演算パフォーマンス。BFLOAT16 Tensor コア、FP16 Tensor コア、FP8 Tensor コアおよび INT8 Tensor コア パフォーマンスは、Nvidia によりスパース性を使用して公開されました。AMD は、比較目的でこれらの数値を 2 で割ってスパース性なし/密度に変換しました。これらの数値は上に表示されます。
NVIDIA H200 の出典: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 および https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
注記: Nvidia H200 GPU の公開された FLOPS パフォーマンスは H100 製品のものと同じです (https://resources.nvidia.com/en-us-tensor-core/)。MI325-02 - MI325-008 - AMD パフォーマンス ラボが 2024 年 10 月 2 日に AMD CDNA™ 3 5 nm | 6 nm FinFET プロセス テクノロジを使用して設計した AMD Instinct™ MI325X (1000 W) GPU で計算した結果、2,100 MHz のピーク ブースト エンジン クロックで 163.4 TFLOPS のピーク理論倍精度マトリックス (FP64 マトリックス)、81.7 TFLOPS ピーク理論倍精度 (FP64)、163.4 TFLOPS ピーク理論単精度マトリックス (FP32 マトリックス)、163.4 TFLOPS ピーク理論単精度 (FP32)、653.7 TFLOPS ピーク理論 TensorFloat-32 (TF32)、1307.4 TFLOPS ピーク理論半精度 (FP16) が得られました。実際のパフォーマンスは最終仕様およびシステム構成により異なる場合があります。
Nvidia H200 SXM (141 GB) GPU に関して、次の結果が公開されています。 66.9 TFLOPS ピーク理論倍精度 Tensor (FP64 Tensor)、33.5 TFLOPS ピーク理論倍精度 (FP64)、66.9 TFLOPS ピーク理論単精度 (FP32)、494.7 TFLOPS ピーク TensorFloat-32 (TF32)、989.5 TFLOPS ピーク理論半精度 Tensor (FP16 Tensor)。TF32 Tensor コア パフォーマンスは、Nvidia によりスパース性を使用して公開されました。AMD は、比較目的でこれらの数値を 2 で割ってスパース性なし/密度に変換しました。この数値は上に表示されます。
NVIDIA H200 の出典: https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446 および https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
注記: Nvidia H200 GPU の公開された FLOPS パフォーマンスは H100 製品のものと同じです (https://resources.nvidia.com/en-us-tensor-core/)。
* Nvidia H200 GPU は FP32 Tensor をサポートしていません。 - MI325-001A - 計算は、2024 年 9 月 26 日時点での仕様および/または推定に基づいて AMD パフォーマンス ラボにより実行されたものです。AMD Instinct™ MI325X OAM アクセラレータは、256 GB HBM3E メモリ容量と 6 TB/秒 GPU ピーク理論メモリ帯域幅のパフォーマンスを発揮します。製品版の半導体によって、実際の結果は異なる場合があります。
NVIDIA Hopper H200 (141 GB) SXM GPU アクセラレータの最高の公開結果は、141 GB HBM3E メモリ容量、4.8 TB/秒 GPU メモリ帯域幅パフォーマンスとなっています。 https://nvdam.widen.net/s/nb5zzzsjdf/hpc-datasheet-sc23-h200-datasheet-3002446
NVIDIA Blackwell HGX B100 (192 GB) 700 W GPU アクセラレータの公開結果で最高の値は以下のようになっています。HBM3E メモリ容量は 192 GB、GPU メモリの帯域幅パフォーマンスは 8 TB/秒。
NVIDIA Blackwell HGX B200 (192 GB) GPU アクセラレータの公開結果で最高の値は以下のようになっています。HBM3E メモリ容量は 192 GB、GPU メモリの帯域幅パフォーマンスは 8 TB/秒。
Nvidia Blackwell の仕様については、https://resources.nvidia.com/en-us-blackwell-architecture?_gl=1*1r4pme7*_gcl_aw*R0NMLjE3MTM5NjQ3NTAuQ2p3S0NBancyNkt4QmhCREVpd0F1NktYdDlweXY1dlUtaHNKNmhPdHM4UVdPSlM3dFdQaE40WkI4THZBaWFVajFy をご覧ください。
一部の AMD テクノロジでは、サードパーティによる有効化またはアクティブ化が必要になる場合があります。サポートされる機能はオペレーティング システムによって異なる場合があります。 具体的な機能については、システム メーカーにお問い合わせください。完全に安全なテクノロジや製品はありません。