AI 技术的影响辐射全行业
AI 正在推动所有工作负载和行业发生深刻变革，对效率、创新和竞争力带来巨大提升。从制造和汽车行业流程自动化，到防范金融欺诈和加快医学研究，各种企业都能借助 AI 技术充分利用新的机会，优化运营并通过以往无法想象的方式为客户创造价值。
AMD 全方位支持各种数据中心工作负载
对于企业而言，采用 AI 技术可能是一项艰巨的挑战。了解 AMD 产品如何支持各类 AI 工作负载，有助于您明确自己的应用需求。了解如何在企业数据中心部署和维护 AI 工作负载，则有助于您确定基础设施需求。
常规用途
AI 推理
AI 训练
推动构建强有力的 AI 解决方案
在数据中心内为 AI 腾出空间和电力
许多数据中心的可用空间或电力都已达到和/或接近满负荷运转。1 基于 AMD EPYC（霄龙）处理器的服务器凭借出色的性能和能效实现有效的工作负载整合，以便在现有的数据中心内腾出更多空间和电力来支持新的 AI 工作负载。
用 14 台全新 AMD EPYC（霄龙）9965 CPU 服务器取代原有的 100 台服务器2
*可实现总计约 39,000 个单位的整数性能。
服务器数量减少多达 86%
功耗降低高达 69%
3 年 TCO 降低高达 65%
AMD EPYC（霄龙）9965 CPU 服务器有助于降低成本和 TCO2
*可实现总计约 39,000 个单位的整数性能。
服务器数量减少多达 60%
功耗降低高达 40%
3 年 TCO 降低高达 41%
出色的推理性能
基于 AMD EPYC（霄龙）处理器的服务器是出色的 CPU AI 平台，可高效运行推理工作负载，满足各类模型和应用场景的需求。AMD EPYC（霄龙）CPU 具有出色的灵活性，可充分满足从实时推理到批量推理或离线推理等的一系列需求。
以 FP32 精度运行常用的梯度提升模型 XGBoost（Higgs 数据集）时，基于 192 核 AMD EPYC（霄龙）9965 处理器的双路服务器的推理吞吐量（平均每小时运行次数）是原有解决方案的 3 倍之多。3
选对主机 CPU，优化 GPU 性能
如果需要运行规模更大、要求更高的 AI 工作负载，GPU 是明智之选。主机 CPU 的职责便是助力 GPU 实现更高的吞吐量。要让价值不菲的 GPU 充分发挥性能，选择合适的主机平台至关重要。基于 AMD EPYC（霄龙）处理器的服务器在性能、可扩展性、兼容性和能效等方面皆可胜任作为高级 GPU AI 引擎的主机。了解要充分发挥 GPU 性能，主机 CPU 必须具备哪些功能特性。
AMD EPYC（霄龙）CPU 助力打造数百款经过认证的 GPU 加速系统，可充分满足 AI 工作负载加速需求。查看 AMD Instinct GPU 加速解决方案。
如需了解其他经过认证或验证的 GPU 加速解决方案，请咨询各大平台解决方案提供商，包括 Asus、Dell、Gigabyte、HPE、Lenovo 和 Supermicro 等。
客户使用感受
资源
以务实方式打造 AI 就绪型基础设施
深入研究 AI 基础设施战略，注重在数据中心现代化改造过程中选择合理规模的解决方案，根据不同的规模和复杂程度优化调整 CPU-GPU 部署。
订阅 AMD 数据中心行业见解
联系 AMD EPYC（霄龙）销售专家
附注
- 基于 AMD 内部数据的分析
- 9xx5TCO-001B：此场景包含许多假设和估计，尽管基于 AMD 内部研究和最佳逼近原则，但应视为一个示例，仅供参考，不能用作实际测试的决策依据。AMD 服务器和温室气体排放总体拥有成本估算工具 v1.12 比较了提供 39100 单位 SPECrate2017_int_base 总体性能所需的 AMD EPYC（霄龙）服务器解决方案，采用了截至 2024 年 10 月 10 日发布的分数。经该方案测试，基于双路 EPYC（霄龙）9965（192 核）的服务器获得 3000 分 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)。不同 OEM 出版资料中的双路 EPYC（霄龙）9965 实际 SPECrate®2017_int_base 分数有所不同。我们利用这些数据，并采用“2024 年全球电力排放系数 10 – 2024 年 7 月”中的国家/地区特定电力系数、美国国家环境保护局“温室气体当量计算器”，对环境影响进行了评估。
- 9xx5-040A：XGBoost（每小时运行次数）吞吐量测试结果基于截至 2024 年 9 月 5 日的 AMD 内部测试。XGBoost 配置：v2.2.1，Higgs 数据集，32 核心实例，FP32 双路 AMD EPYC（霄龙）9965（总计 384 个核心），12 个 32 核心实例，1.5TB 24x64GB DDR5-6400（速率 6000 MT/s），1.0 Gbps NetXtreme BCM5720 千兆以太网 PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-45-generic（tuned-adm profile throughput-performance、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192），BIOS RVOT1000C（SMT=off、Determinism=Power、Turbo Boost=Enabled），NPS=1；双路 AMD EPYC（霄龙）9755（总计 256 个核心），1.5TB 24x64GB DDR5-6400（速率 6000 MT/s），1DPC，1.0 Gbps NetXtreme BCM5720 千兆以太网 PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic（tuned-adm profile throughput-performance、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192），BIOS RVOT0090F（SMT=off、Determinism=Power、Turbo Boost=Enabled），NPS=1；双路 AMD EPYC（霄龙）9654（总计 192 个核心），1.5TB 24x64GB DDR5-4800，1DPC，2 个 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic（tuned-adm profile throughput-performance、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192），BIOS TTI100BA（SMT=off、Determinism=Power），NPS=1。结果如下：CPU、第 1 次运行吞吐量、第 2 次运行吞吐量、第 3 次运行吞吐量、吞吐量中值、相对于基准的提升幅度、代际提升幅度
双路 Turin（192 核，NPS1）、1565.217、1537.367、1553.957、1553.957、3、2.41
双路 Turin（128 核，NPS1）、1103.448、1138.34、1111.969、1111.969、2.147、1.725
双路 Genoa（96 核，NPS1）、662.577、644.776、640.95、644.776、1.245、1
参照基准（64 核）、517.986、421.053、553.846、517.986、1、不适用
结果可能会因系统配置、软件版本和 BIOS 设置等因素而有所不同。
附注
- 基于 AMD 内部数据的分析
- 9xx5TCO-001B：此场景包含许多假设和估计，尽管基于 AMD 内部研究和最佳逼近原则，但应视为一个示例，仅供参考，不能用作实际测试的决策依据。AMD 服务器和温室气体排放总体拥有成本估算工具 v1.12 比较了提供 39100 单位 SPECrate2017_int_base 总体性能所需的 AMD EPYC（霄龙）服务器解决方案，采用了截至 2024 年 10 月 10 日发布的分数。经该方案测试，基于双路 EPYC（霄龙）9965（192 核）的服务器获得 3000 分 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf)。不同 OEM 出版资料中的双路 EPYC（霄龙）9965 实际 SPECrate®2017_int_base 分数有所不同。我们利用这些数据，并采用“2024 年全球电力排放系数 10 – 2024 年 7 月”中的国家/地区特定电力系数、美国国家环境保护局“温室气体当量计算器”，对环境影响进行了评估。
- 9xx5-040A：XGBoost（每小时运行次数）吞吐量测试结果基于截至 2024 年 9 月 5 日的 AMD 内部测试。XGBoost 配置：v2.2.1，Higgs 数据集，32 核心实例，FP32 双路 AMD EPYC（霄龙）9965（总计 384 个核心），12 个 32 核心实例，1.5TB 24x64GB DDR5-6400（速率 6000 MT/s），1.0 Gbps NetXtreme BCM5720 千兆以太网 PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu® 22.04.4 LTS，6.8.0-45-generic（tuned-adm profile throughput-performance、ulimit -l 198078840、ulimit -n 1024、ulimit -s 8192），BIOS RVOT1000C（SMT=off、Determinism=Power、Turbo Boost=Enabled），NPS=1；双路 AMD EPYC（霄龙）9755（总计 256 个核心），1.5TB 24x64GB DDR5-6400（速率 6000 MT/s），1DPC，1.0 Gbps NetXtreme BCM5720 千兆以太网 PCIe，3.5 TB Samsung MZWLO3T8HCLS-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic（tuned-adm profile throughput-performance、ulimit -l 198094956、ulimit -n 1024、ulimit -s 8192），BIOS RVOT0090F（SMT=off、Determinism=Power、Turbo Boost=Enabled），NPS=1；双路 AMD EPYC（霄龙）9654（总计 192 个核心），1.5TB 24x64GB DDR5-4800，1DPC，2 个 1.92 TB Samsung MZQL21T9HCJR-00A07 NVMe®，Ubuntu 22.04.4 LTS，6.8.0-40-generic（tuned-adm profile throughput-performance、ulimit -l 198120988、ulimit -n 1024、ulimit -s 8192），BIOS TTI100BA（SMT=off、Determinism=Power），NPS=1。结果如下：CPU、第 1 次运行吞吐量、第 2 次运行吞吐量、第 3 次运行吞吐量、吞吐量中值、相对于基准的提升幅度、代际提升幅度 双路 Turin（192 核，NPS1）、1565.217、1537.367、1553.957、1553.957、3、2.41 双路 Turin（128 核，NPS1）、1103.448、1138.34、1111.969、1111.969、2.147、1.725 双路 Genoa（96 核，NPS1）、662.577、644.776、640.95、644.776、1.245、1 参照基准（64 核）、517.986、421.053、553.846、517.986、1、不适用 结果可能会因系统配置、软件版本和 BIOS 设置等因素而有所不同。