第 5 世代 AMD EPYC プロセッサのご紹介
データセンター、クラウド、AI のワークロードを高速処理するために構築された AMD EPYC 9005 シリーズ プロセッサは、企業向け演算性能を新たなレベルに引き上げます。
AI 向けの最高水準の CPU1
エンドツーエンドの AI 性能を提供する AMD EPYC™ 9005 プロセッサ。
サーバー単位のパフォーマンスを最大化
最大 86% 少ないラック数2 でレガシ ハードウェアの整数演算性能に匹敵する性能を発揮する AMD EPYC™ 9005 により、物理的なフットプリント、消費電力、必要なソフトウェア ライセンス数を大幅に削減できます。これにより、新しい AI ワークロードや拡張された AI ワークロードのためのスペースを確保できます。
優れた AI 推論パフォーマンス
AMD EPYC™ 9005 CPU を搭載した CPU 専用サーバーは、130 億パラメーター以下の言語モデル、画像や不正の解析、レコメンデーション システムなど、多くの AI ワークロードを効率的に実行します。第 5 世代 AMD EPYC 9965 CPU を 2 基搭載したサーバーは、前世代の製品と比較して、最大 2 倍の推論スループットを実現します。3
GPU アクセラレーションの最大化
AMD EPYC™ 9005 ファミリには、GPU 対応システムのホスト CPU として最適化されたオプションが含まれており、特定の AI ワークロードのパフォーマンスを向上させ、各 GPU サーバーの ROI を改善します。その一例として、Llama3.1-70B を実行する 8x GPU を搭載した Intel Xeon 8592+ プロセッサをホスト CPU とするサーバーと比較した場合、同じ 8x GPU を搭載した AMD EPYC 9575F プロセッサ搭載サーバーは、最大 20% 高いシステム パフォーマンスを実現します。4
第 5 世代 AMD EPYC プロセッサがデータセンター全体で AI の効率性とパフォーマンスを向上させる方法をご紹介します。データセンターのスペースと電力の確保から、CPU での直接的な推論の実行、GPU パフォーマンスの向上まで、AMD EPYC プロセッサはエンタープライズ AI を新次元に導きます
最適化されたエンタープライズ パフォーマンス
AMD EPYC 9005 プロセッサは、卓越したパフォーマンスを発揮しながら、業界をリードする電力効率と保有コスト (TCO) 値を維持し、ビジネス上の急務を支援できます。
業界をリードする整数演算性能
AMD EPYC 9005 CPU 搭載サーバーは、新しい "Zen 5" コアを活用し、優れたメインストリーム パフォーマンス メトリクスを提供します。競合他社の主要製品と比較した場合、2.7 倍の整数演算性能を実現します。5
クラウド対応設計
AMD EPYC™ 9005 プロセッサは、クラウド ワークロードに集積度とパフォーマンスを提供します。192 コアの最上位モデル、AMD EPYC 9965 プロセッサは、現行の最上位モデルである Intel® Xeon 6E "Sierra Forest" 144 コア プロセッサ (1 コアあたり 1vCPU) より、仮想 CPU (vCPU) を 33% 多くサポートできます。
卓越した効率性と TCO
今日のデータセンターは、過去に例を見ないほど多くの電力を必要としています。AMD EPYC™ 9005 プロセッサは、AMD EPYC の過去の世代と同様に、優れた電力効率と TCO のメリットを提供し続けます。
卓越したパフォーマンス、集積度、効率性
AMD EPYC 9005 シリーズ プロセッサは最大 192 個の "Zen 5" または "Zen 5c" コアを搭載し、卓越したメモリ帯域幅と容量を備えています。 革新的な AMD チップレット アーキテクチャは、さまざまなコンピューティング ニーズに最適化された高性能で電力効率に優れたソリューションを実現します。
"Zen 5"
"Zen 5c"
幅広いエコシステムをサポートし、業界リーダーから絶大な信頼を獲得
AMD は、AMD EPYC™ 9005 プロセッサを取り扱う幅広いネットワークのソリューション プロバイダーと協力しています。世界中の企業や行政機関が、最も重要なワークロードに AMD を選択しています。
モデル仕様
リソース
脚注
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。
- 9xx5TCO-001B: このシナリオには多くの仮定と推定が含まれており、AMD の内部調査と最良近似に基づいています。このシナリオ中に示される数値は、情報提供のみを目的とした例であり、実際のテストに対する意思決定の基礎としては使用しないでください。AMD サーバーと温室効果ガス排出量 TCO (総所有コスト) 評価ツール (バージョン 1.12) では、2024 年 10 月 10 日時点において、SPECrate2017_int_base で 39100 ユニットの TOTAL_PERFORMANCE を実現するために必要となる特定の AMD EPYC™ と Intel® Xeon® CPU 搭載のサーバー ソリューションを比較しています。このシナリオは、スコア 391 のレガシ 2P Intel Xeon 28 コア Platinum_8280 搭載サーバーと、スコア 3000 の 2P EPYC 9965 (192C) 搭載サーバーを比較したもので (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)、さらにスコア 1130 の 2P Intel Xeon Platinum 8592+ (64 コア) 搭載サーバーへのアップグレードを比較しています (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)。2P EPYC 9965 の実際の SPECrate®2017_int_base スコアは、OEM の公表値によって異なります。環境負荷への試算は、このデータを活用し、「2024 International Country Specific Electricity Factors 10 – 2024 年 7 月」の国/地域特定の電気要因、および米国環境保護庁「Greenhouse Gas Equivalencies Calculator」を使用しています。
- 9xx5-040A: XGBoost (実行/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。XGBoost 構成: v2.2.1、Higgs データ セット、32 コア インスタンス、FP32 2P AMD EPYC 9965 (合計 384 コア)、12 x 32 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-45-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9755 (合計 256 コア)、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9654 (合計 192 コア)、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192)、BIOS TTI100BA (SMT=off、Determinism=Power)、NPS=1 に対し、2P Xeon Platinum 8592+ (合計 128 コア)、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU Run 1、Run 2、Run 3 相対スループット中央値 (世代間) 2P Turin 192C、NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C、NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C、NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA。システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により、結果は異なる場合があります。
- 9xx5-014: Llama3.1-70B の推論スループットは、2024 年 9 月 1 日時点の AMD 社内テストに基づきます。
Llama3.1-70B の構成: TensorRT-LLM 0.9.0、nvidia/cuda 12.5.0-devel-ubuntu22.04、FP8、入力/出力トークン設定 (ユース ケース): [BS=1024 I/O=128/128、BS=1024 I/O=128/2048、BS=96 I/O=2048/128、BS=64 I/O=2048/2048]。トークン数/秒の測定結果です。
2P AMD EPYC 9575F (合計 128 コア)、8x NVIDIA H100 80 GB HBM3、1.5 TB 24x64 GB DDR5-6000、1.0 Gbps 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®、BIOS T20240805173113 (Determinism=Power、SR-IOV=On)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic (mitigations=off、cpupower frequency-set -g performance、cpupower idle-set -d 2、echo 3> /proc/syss/vm/drop_caches)、
2P Intel Xeon Platinum 8592+ (合計 128 コア)、8x NVIDIA H100 80 GB HBM3、1 TB 16x64 GB DDR5-5600、3.2 TB Dell Ent NVMe® PM1735a MU、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、(processor.max_cstate=1、intel_idle.max_cstate=0 mitigations=off、cpupower frequency-set -g performance)、BIOS 2.1、(Maximum performance、SR-IOV=On)、
I/O トークン バッチ サイズ EMR Turin 相対値
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
平均スループットが 1.197 倍に増加します。
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。
- 9xx5-002D: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2024 年 10 月 10 日時点のスコアに基づいています。2P AMD EPYC 9965 (3000 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.060 SPECrate®2017_int_base/CPU あたりの消費電力、0.205 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.440 SPECrate®2017_int_base/CPU あたりの消費電力、0.209 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base、合計 256 コア、360 W TDP、CPU あたりのコスト $11,900)、5.417 SPECrate®2017_int_base/CPU あたりの消費電力、0.164 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base、合計 192 コア、360 W TDP、CPU あたりのコスト $11,805)、5.028 SPECrate®2017_int_base/CPU あたりの消費電力、0.153 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base、合計 128 コア、350 W TDP、CPU あたりのコスト $11,600) 3.229 SPECrate®2017_int_base/CPU あたりの消費電力、0.097 SPECrate®2017_int_base/CPU あたりのコスト、http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base、合計 288 コア、330 W TDP、CPU あたりのコスト $11,350) 4.273 SPECrate®2017_int_base/CPU あたりの消費電力、0.124 SPECrate®2017_int_base/CPU あたりのコスト、https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU TDP については、https://ark.intel.com/content/www/jp/ja/ark.html をご覧ください。
脚注
- 9xx5-012: TPCx-AI @SF30 マルチインスタンス 32 コア インスタンス サイズのスループット結果は、2024 年 9 月 5 日に複数の VM インスタンスを実行した AMD 社内テストに基づいています。集約エンドツーエンド AI スループット試験は、TPCx-AI ベンチマークから派生したものであるため、公開されている TPCx-AI の結果とは比較できません。エンドツーエンド AI スループット試験結果は TPCx-AI 仕様を順守していないためです。
2P AMD EPYC 9965 (合計 384 コア)、12 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9755 (合計 256 コア)、8 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198096812、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)
2P AMD EPYC 9654 (合計 192 コア) 6 32 コア インスタンス、NPS1、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe、Ubuntu 22.04.3 LTS、BIOS 1006C (SMT=off、Determinism=Power)
比較対象: 2P Xeon Platinum 8592+ (合計 128 コア)、4 32 コア インスタンス、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled)
結果:
CPU 相対中央値 (世代間)
Turin 192 コア、12 Inst 6067.531 3.775 2.278
Turin 128 コア、8 Inst 4091.85 2.546 1.536
Genoa 96 コア、6 Inst 2663.14 1.657 1
EMR 64 コア、4 Inst 1607.417 1 NA
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。TPC、TPC Benchmark、および TPC-C は、Transaction Processing Performance Council の商標です。 - 9xx5TCO-001B: このシナリオには多くの仮定と推定が含まれており、AMD の内部調査と最良近似に基づいています。このシナリオ中に示される数値は、情報提供のみを目的とした例であり、実際のテストに対する意思決定の基礎としては使用しないでください。AMD サーバーと温室効果ガス排出量 TCO (総所有コスト) 評価ツール (バージョン 1.12) では、2024 年 10 月 10 日時点において、SPECrate2017_int_base で 39100 ユニットの TOTAL_PERFORMANCE を実現するために必要となる特定の AMD EPYC™ と Intel® Xeon® CPU 搭載のサーバー ソリューションを比較しています。このシナリオは、スコア 391 のレガシ 2P Intel Xeon 28 コア Platinum_8280 搭載サーバーと、スコア 3000 の 2P EPYC 9965 (192C) 搭載サーバーを比較したもので (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)、さらにスコア 1130 の 2P Intel Xeon Platinum 8592+ (64 コア) 搭載サーバーへのアップグレードを比較しています (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf)。2P EPYC 9965 の実際の SPECrate®2017_int_base スコアは、OEM の公表値によって異なります。環境負荷への試算は、このデータを活用し、「2024 International Country Specific Electricity Factors 10 – 2024 年 7 月」の国/地域特定の電気要因、および米国環境保護庁「Greenhouse Gas Equivalencies Calculator」を使用しています。
- 9xx5-040A: XGBoost (実行/時) のスループットは、2024 年 9 月 5 日時点の AMD 社内テストに基づきます。XGBoost 構成: v2.2.1、Higgs データ セット、32 コア インスタンス、FP32 2P AMD EPYC 9965 (合計 384 コア)、12 x 32 コア インスタンス、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu® 22.04.4 LTS、6.8.0-45-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT1000C (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9755 (合計 256 コア)、1.5 TB 24x64 GB DDR5-6400 (6000 MT/秒時)、1DPC、1.0 Gbps NetXtreme BCM5720 PCIe ギガビット イーサネット、3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192)、BIOS RVOT0090F (SMT=off、Determinism=Power、Turbo Boost=Enabled)、NPS=1 2P AMD EPYC 9654 (合計 192 コア)、1.5 TB 24x64 GB DDR5-4800、1DPC、2 x 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®、Ubuntu 22.04.4 LTS、6.8.0-40-generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192)、BIOS TTI100BA (SMT=off、Determinism=Power)、NPS=1 に対し、2P Xeon Platinum 8592+ (合計 128 コア)、AMX On、1 TB 16x64 GB DDR5-5600、1DPC、1.0 Gbps NetXtreme BCM5719 PCIe ギガビット イーサネット、3.84 TB KIOXIA KCMYXRUG3T84 NVMe®、Ubuntu 22.04.4 LTS、6.5.0-35 generic (tuned-adm プロファイル スループットパフォーマンス、ulimit -l 132065548、ulimit -n 1024、ulimit -s 8192)、BIOS ESE122V (SMT=off、Determinism=Power、Turbo Boost = Enabled) を比較。結果: CPU Run 1、Run 2、Run 3 相対スループット中央値 (世代間) 2P Turin 192C、NPS1 1565.217 1537.367 1553.957 1553.957 3 2.41 2P Turin 128C、NPS1 1103.448 1138.34 1111.969 1111.969 2.147 1.725 2P Genoa 96C、NPS1 662.577 644.776 640.95 644.776 1.245 1 2P EMR 64C 517.986 421.053 553.846 517.986 1 NA。システム構成、ソフトウェアのバージョン、BIOS 設定などの要因により、結果は異なる場合があります。
- 9xx5-014: Llama3.1-70B の推論スループットは、2024 年 9 月 1 日時点の AMD 社内テストに基づきます。
Llama3.1-70B の構成: TensorRT-LLM 0.9.0、nvidia/cuda 12.5.0-devel-ubuntu22.04、FP8、入力/出力トークン設定 (ユース ケース): [BS=1024 I/O=128/128、BS=1024 I/O=128/2048、BS=96 I/O=2048/128、BS=64 I/O=2048/2048]。トークン数/秒の測定結果です。
2P AMD EPYC 9575F (合計 128 コア)、8x NVIDIA H100 80 GB HBM3、1.5 TB 24x64 GB DDR5-6000、1.0 Gbps 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®、BIOS T20240805173113 (Determinism=Power、SR-IOV=On)、Ubuntu 22.04.3 LTS、kernel=5.15.0-117-generic (mitigations=off、cpupower frequency-set -g performance、cpupower idle-set -d 2、echo 3> /proc/syss/vm/drop_caches)、
2P Intel Xeon Platinum 8592+ (合計 128 コア)、8x NVIDIA H100 80 GB HBM3、1 TB 16x64 GB DDR5-5600、3.2 TB Dell Ent NVMe® PM1735a MU、Ubuntu 22.04.3 LTS、kernel-5.15.0-118-generic、(processor.max_cstate=1、intel_idle.max_cstate=0 mitigations=off、cpupower frequency-set -g performance)、BIOS 2.1、(Maximum performance、SR-IOV=On)、
I/O トークン バッチ サイズ EMR Turin 相対値
128/128 1024 814.678 1101.966 1.353
128/2048 1024 2120.664 2331.776 1.1
2048/128 96 114.954 146.187 1.272
2048/2048 64 333.325 354.208 1.063
平均スループットが 1.197 倍に増加します。
実際の結果は、システムの構成、ソフトウェアのバージョン、BIOS の設定などの要因によって異なります。 - 9xx5-002D: SPECrate®2017_int_base の比較は、www.spec.org に掲載された 2024 年 10 月 10 日時点のスコアに基づいています。2P AMD EPYC 9965 (3000 SPECrate®2017_int_base、合計 384 コア、500 W TDP、CPU あたりのコスト $14,813)、6.060 SPECrate®2017_int_base/CPU あたりの消費電力、0.205 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.html) 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base、合計 256 コア、500 W TDP、CPU あたりのコスト $12,984)、5.440 SPECrate®2017_int_base/CPU あたりの消費電力、0.209 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html) 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base、合計 256 コア、360 W TDP、CPU あたりのコスト $11,900)、5.417 SPECrate®2017_int_base/CPU あたりの消費電力、0.164 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html) 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base、合計 192 コア、360 W TDP、CPU あたりのコスト $11,805)、5.028 SPECrate®2017_int_base/CPU あたりの消費電力、0.153 SPECrate®2017_int_base/CPU あたりのコスト、https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html) 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base、合計 128 コア、350 W TDP、CPU あたりのコスト $11,600) 3.229 SPECrate®2017_int_base/CPU あたりの消費電力、0.097 SPECrate®2017_int_base/CPU あたりのコスト、http://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html) 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base、合計 288 コア、330 W TDP、CPU あたりのコスト $11,350) 4.273 SPECrate®2017_int_base/CPU あたりの消費電力、0.124 SPECrate®2017_int_base/CPU あたりのコスト、https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html) SPEC®、SPEC CPU®、および SPECrate® は、Standard Performance Evaluation Corporation の登録商標です。詳細については、www.spec.org をご覧ください。Intel CPU TDP については、https://ark.intel.com/content/www/jp/ja/ark.html をご覧ください。