オートモーティブ
コンピューター ビジョン モデルは自動運転車の推進を後押しし、標識や歩行者、ほかの車両を認識して回避できるようにします。自然言語処理モデルは、車内テレマティクスに対する音声での指示の認識を支援します。
エンタープライズ AI 推論ワークロードに対応する業界トップクラスのポートフォリオ
AI 推論は、トレーニング済みの AI モデルを使用して新しいデータに対する予測を実行します。AMD はモデル サイズやアプリケーション要件に応じて AI 推論向けの幅広いソリューションを提供しています。AMD EPYC™ プロセッサは、データへの近接度が重要な小規模から中規模の AI モデルとワークロードで真価を発揮します。また、レイテンシが重要ではないバッチ処理やオフライン処理のアプリケーションでは、AMD EPYC プロセッサはコスト効率の高い推論ソリューションを提供します。
下記は、AMD EPYC プロセッサで優れたパフォーマンスを発揮する AI ワークロードの例です。各ワークロードの詳細については、こちらの記事をご覧ください。
- レイテンシ トレランス (低)
- レイテンシ トレランス (中)
- レイテンシ トレランス (高)
レイテンシ トレランス (低)
システムのタイプ |
例 |
根拠 |
レコメンド システム |
|
|
機械学習 |
|
|
レイテンシ トレランス (中)
システムのタイプ |
例 |
根拠 |
自然言語処理 |
|
|
AI 対応混合アプリケーション |
|
|
レイテンシ トレランス (高)
システムのタイプ |
例 |
根拠 |
生成 AI |
|
|
大規模言語モデル |
|
|
用途と業種
AI モデルは、コンピューター ビジョン、自然言語処理、レコメンデーション システムなどに統合され、多数の業界のビジネスに大きな影響を及ぼしています。企業はこのようなモデルを、物体認識、異常の分類、書き言葉や話し言葉の理解、レコメンデーションの作成に利用しています。このようなモデルの開発を加速することは、業種を問わず企業にメリットをもたらします。
エンタープライズ AI 推論ワークロードに最適な選択肢
CPU のみとして展開される場合でも、大規模モデルを実行する GPU のホストとして使用される場合でも、AMD EPYC™ 9005 シリーズ プロセッサは最新のオープン スタンダード テクノロジを採用した設計でエンタープライズ AI 推論ワークロードを加速させます。
- ハードウェア
- ソフトウェア
- セキュリティ
AI 推論向けのアーキテクチャ
最大 192 個の AMD "Zen 5" コア: AVX-512 命令をサポートするフル 512b ワイド データパスにより、AI 推論ワークロードに最適な並列処理を提供し、GPU アクセラレーションの必要性を軽減します。
AI と従来のワークロードの同時実行に対応した設計: 第 5 世代 AMD EPYC プロセッサは、従来のワークロードに最高の整数演算性能を提供します。1 また、AMD EPYC プロセッサは、幅広い AI ワークロードとモデル サイズにわたって効率的な推論を実現します。
高速処理と I/O: 世代間で 37% 向上した AI ワークロードのクロック サイクルあたりの命令数 (IPC)、DDR5 メモリ、PCIe® Gen 5 I/O がデータの高速処理を実現します。2
AI 推論に向けた AMD ソフトウェアの最適化
フレームワーク サポート: AMD は、TensorFlow、PyTorch、ONNX Runtime など、最も広く普及している AI フレームワークをサポートし、画像分類やレコメンデーション エンジンなどの多様なユース ケースに対応します。
オープンソースと互換性: 最適化は広く普及しているフレームワークに統合され、広範な互換性とオープンソースのアップストリーム適合性を提供しています。さらに、AMD は Hugging Face と共同で、ZenDNN によってオープンソース モデルをすぐに使える状態にしています。
ZenDNN プラグイン: これらのプラグインは、演算子の最適化、マイクロカーネルの活用、AMD EPYC コアへの効率的なマルチスレッドの実装により、AI 推論ワークロードを加速します。
画像を拡大
AI の時代になり、データ セキュリティの重要性はさらに増しています。
デジタイゼーション、クラウド コンピューティング、AI、その他の新興テクノロジの利用によって、データの増加率がさらに加速し、高度なセキュリティ対策の必要性がさらに切迫しています。このセキュリティの必要性の高まりは、国際的なプライバシー規制の強化や違反の厳罰化によってさらに増幅し、セキュリティ リスクが高まる中、データの価値はかつてないほど高騰しています。
シリコン レベルで組み込まれている AMD Infinity Guard は、内外部の脅威に対抗してデータを安全に維持するために必要となる高度な機能を提供します。3
AI ワークロード モデル
AMD EPYC™ 9005 プロセッサベース サーバーとクラウド インスタンスは、お客様とデータに近いところで、高速かつ効率に優れた AI 対応ソリューションを実現します。
Llama3.1-8B BF16⁴ を実行している 2P サーバー (相対トークン/秒)
1.8 倍
1.3 倍
1.0 倍
FAISS⁵ を実行する 2P サーバー (リクエスト/時)
3.8 倍
2.0 倍
1.0 倍
TPCx-AI @ SF30⁶ を実行する 2P サーバー (スループット/分)
3.8 倍
2.3 倍
1.0 倍
XGBoost @ SF30⁷ を実行する 2P サーバー (実行/時)
3.0 倍
2.0 倍
1.0 倍
リソース
脚注
- 9xx5-002D: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2024 年 10 月 10 日時点のスコアに基づいています。2P AMD EPYC 9965 (3000 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.060 SPECrate®2017_int_base/CPU あたりの消費電力、0.205 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.440 SPECrate®2017_int_base/CPU あたりの消費電力、0.209 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base、合計 256 コア、360 W TDP、CPU あたりのコスト $11,900)、5.417 SPECrate®2017_int_base/CPU あたりの消費電力、0.164 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base、合計 192 コア、360 W TDP、CPU あたりのコスト $11,805)、5.028 SPECrate®2017_int_base/CPU あたりの消費電力、0.153 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base、合計 128 コア、350 W TDP、CPU あたりのコスト $11,600) 3.229 SPECrate®2017_int_base/CPU あたりの消費電力、0.097 SPECrate®2017_int_base/CPU あたりのコスト、http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base、合計 288 コア、330 W TDP、CPU あたりのコスト $11,350) 4.273 SPECrate®2017_int_base/CPU あたりの消費電力、0.124 SPECrate®2017_int_base/CPU あたりのコスト、https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU TDP については、https://ark.intel.com/content/www/jp/ja/ark.html をご覧ください。
- 9xx5-001: 2024 年 9 月 10 日時点の AMD 社内テストに基づく、固定周波数での幾何平均パフォーマンス向上 (IPC)。- 第 5 世代 EPYC 世代別 ML/HPC サーバー ワークロードは、24 のワークロードから選択されたセットを使用し、代表的な ML サーバーワー クロード (幾何平均) および代表的な HPC サーバー ワークロード (幾何平均) の幾何平均値である 1.369 倍 (幾何平均) の IPC 性能向上を示しました。"Genoa 構成" (すべて NPS1) "Genoa" 構成: EPYC 9654 BIOS TQZ1005D 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-4800 (2Rx4 64 GB)、32 Gbps xGMI。"Turin" 構成 (すべて NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-6000 (2Rx4 64 GB)、32 Gbps xGMI。Ubuntu 22.04 w/6.8.0-40-generic カーネル OS 上でのパフォーマンス決定論と Performance Governor の全ワークロードへの活用 (24.04 w/6.8.0-40-generic カーネルを使用する LAMMPS、HPCG、NAMD、OpenFOAM、Gromacs を除く)。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html
- 9xx5-009: Llama3.1-8B のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。Llama3-8B の構成: IPEX.LLM 2.4.0、NPS=2、BF16、バッチ サイズ 4、入力/出力トークン設定 (ユース ケース): [まとめ = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024、キャプション = 16/16]。 2P AMD EPYC 9965 (合計 384 コア)、6 64 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1 DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.3 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C、(SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=22P AMD EPYC 9755 (合計 256 コア)、4 64 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.3 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=2、2P AMD EPYC 9654 (合計 192 コア) 4 48 コア インスタンス、1.5 TB 24x64 GB DDR5-4800、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、5.15.85-051585-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 1198117616、ulimit -n 500000、ulimit -s 8192)、BIOS RVI1008C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=2。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、2 64 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。 結果: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c 平均集計総スループット中央値 99.474 193.2 67 182.595 138.978 競合 1 1.943 1.836 1.397 世代間 NA 1.391 1.314 1。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-011: FAISS (要求/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。FAISS 構成: sift1m データ セット、16 コア インスタンス、FP32、MKL 2024.2.1 2P AMD EPYC 9965 (合計 384 コア)、24 16 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=42P AMD EPYC 9654 (合計 192 コア) 12 16 コア インスタンス、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)、NPS=4。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、8 16 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU 相対スループット中央値 (世代間) 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。エンドツーエンドの集約 AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンドの AI スループット試験の結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU 相対中央値 (世代間) Turin 192C、12 Inst 6067.531 3.775 2.278 Turin 128C、8 Inst 4091.85 2.546 1.536 Genoa 96C、6 Inst 2663.14 1.657 1 EMR 64C、4 Inst 1607.417 1 NA。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
- 9xx5-040A: XGBoost (実行/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。XGBoost 構成: v2.2.1、Higgs データ セット、32 コア インスタンス、FP32 2P AMD EPYC 9965 (合計 384 コア)、12 x 32 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-45-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9755 (合計 256 コア)、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9654 (合計 192 コア)、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192)、BIOS TTI100BA (SMT=off、Determinism=Power)、NPS=1 に対し、2P Xeon Platinum 8592+ (合計 128 コア)、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU Run 1、Run 2、Run 3 相対スループット中央値 (世代間) 2P Turin 192C、NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C、NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C、NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA。システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により、結果は異なる場合があります。
脚注
- 9xx5-002D: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2024 年 10 月 10 日時点のスコアに基づいています。2P AMD EPYC 9965 (3000 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.060 SPECrate®2017_int_base/CPU あたりの消費電力、0.205 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.440 SPECrate®2017_int_base/CPU あたりの消費電力、0.209 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base、合計 256 コア、360 W TDP、CPU あたりのコスト $11,900)、5.417 SPECrate®2017_int_base/CPU あたりの消費電力、0.164 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base、合計 192 コア、360 W TDP、CPU あたりのコスト $11,805)、5.028 SPECrate®2017_int_base/CPU あたりの消費電力、0.153 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base、合計 128 コア、350 W TDP、CPU あたりのコスト $11,600) 3.229 SPECrate®2017_int_base/CPU あたりの消費電力、0.097 SPECrate®2017_int_base/CPU あたりのコスト、http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base、合計 288 コア、330 W TDP、CPU あたりのコスト $11,350) 4.273 SPECrate®2017_int_base/CPU あたりの消費電力、0.124 SPECrate®2017_int_base/CPU あたりのコスト、https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU TDP については、https://ark.intel.com/content/www/jp/ja/ark.html をご覧ください。
- 9xx5-001: 2024 年 9 月 10 日時点の AMD 社内テストに基づく、固定周波数での幾何平均パフォーマンス向上 (IPC)。- 第 5 世代 EPYC 世代別 ML/HPC サーバー ワークロードは、24 のワークロードから選択されたセットを使用し、代表的な ML サーバーワー クロード (幾何平均) および代表的な HPC サーバー ワークロード (幾何平均) の幾何平均値である 1.369 倍 (幾何平均) の IPC 性能向上を示しました。"Genoa 構成" (すべて NPS1) "Genoa" 構成: EPYC 9654 BIOS TQZ1005D 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-4800 (2Rx4 64 GB)、32 Gbps xGMI。"Turin" 構成 (すべて NPS1): EPYC 9V45 BIOS RVOT1000F 12c12t (12+1 で 1c1t/CCD)、FF 3 GHz、12x DDR5-6000 (2Rx4 64 GB)、32 Gbps xGMI。Ubuntu 22.04 w/6.8.0-40-generic カーネル OS 上でのパフォーマンス決定論と Performance Governor の全ワークロードへの活用 (24.04 w/6.8.0-40-generic カーネルを使用する LAMMPS、HPCG、NAMD、OpenFOAM、Gromacs を除く)。SPEC® および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、SPEC.org をご覧ください。
- GD-183A: AMD Infinity Guard の機能は、EPYC™ プロセッサの世代および/またはシリーズによって異なります。Infinity Guard のセキュリティ機能は、サーバー OEM および/またはクラウド サービス プロバイダーにより有効化されている必要があります。これらの機能のサポートについては、OEM またはプロバイダーに確認してください。Infinity Guard の詳細はこちら: https://www.amd.com/en/products/processors/server/epyc/infinity-guard.html
- 9xx5-009: Llama3.1-8B のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。Llama3-8B の構成: IPEX.LLM 2.4.0、NPS=2、BF16、バッチ サイズ 4、入力/出力トークン設定 (ユース ケース): [まとめ = 1024/128、チャットボット = 128/128、翻訳 = 1024/1024、エッセイ = 128/1024、キャプション = 16/16]。 2P AMD EPYC 9965 (合計 384 コア)、6 64 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1 DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.3 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C、(SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=22P AMD EPYC 9755 (合計 256 コア)、4 64 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.3 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=2、2P AMD EPYC 9654 (合計 192 コア) 4 48 コア インスタンス、1.5 TB 24x64 GB DDR5-4800、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、5.15.85-051585-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 1198117616、ulimit -n 500000、ulimit -s 8192)、BIOS RVI1008C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=2。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、2 64 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS 6.5.0-35-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。 結果: CPU 2P EMR 64c 2P Turin 192c 2P Turin 128c 2P Genoa 96c 平均集計総スループット中央値 99.474 193.2 67 182.595 138.978 競合 1 1.943 1.836 1.397 世代間 NA 1.391 1.314 1。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-011: FAISS (要求/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。FAISS 構成: sift1m データ セット、16 コア インスタンス、FP32、MKL 2024.2.1 2P AMD EPYC 9965 (合計 384 コア)、24 16 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=42P AMD EPYC 9654 (合計 192 コア) 12 16 コア インスタンス、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)、NPS=4。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、8 16 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU 相対スループット中央値 (世代間) 2P Turin 192C 64.2 3.776 1.861 2P Genoa 96C 34.5 2.029 1 2P EMR 64C 17 1 NA。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。エンドツーエンドの集約 AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンドの AI スループット試験の結果は TPCx-AI 仕様を順守していないためです。2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)。これに対し、2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU 相対中央値 (世代間) Turin 192C、12 Inst 6067.531 3.775 2.278 Turin 128C、8 Inst 4091.85 2.546 1.536 Genoa 96C、6 Inst 2663.14 1.657 1 EMR 64C、4 Inst 1607.417 1 NA。結果は、システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により異なる場合があります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
- 9xx5-040A: XGBoost (実行/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。XGBoost 構成: v2.2.1、Higgs データ セット、32 コア インスタンス、FP32 2P AMD EPYC 9965 (合計 384 コア)、12 x 32 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-45-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9755 (合計 256 コア)、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9654 (合計 192 コア)、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192)、BIOS TTI100BA (SMT=off、Determinism=Power)、NPS=1 に対し、2P Xeon Platinum 8592+ (合計 128 コア)、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU Run 1、Run 2、Run 3 相対スループット中央値 (世代間) 2P Turin 192C、NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C、NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C、NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA。システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により、結果は異なる場合があります。