AI 創新的紮實基礎
隨著新一波 AI 應用的快速進化,AI 成為塑造新一代運算的決定性技術。從為遊戲和娛樂創造逼真的虛擬環境,到協助科學家治療並消滅疾病,或幫助人類為氣候變遷做更完善的準備,AI 有潛力解決全球某些最重要的挑戰。生成式 AI 和大型語言模型 (LLM) 的爆發性成長,加上 AI 應用創新的快速步調,帶動了對運算資源的龐大需求,並且需要高效能、節能、普及且能從雲端擴充到邊緣和端點的解決方案。
AMD 擁有各式各樣的 AI 平台產品組合,在這個領域佔有獨特地位。AMD 以 AMD XDNA™(採用 AI 引擎的自行調適資料流架構)、AMD CDNA™(資料中心的顯示卡加速突破性架構),以及 AMD RDNA™(為遊戲玩家設計的 AI 加速架構)等創新架構為基礎,提供一個涵蓋各項產品的全方位基礎,其中包括處理器、顯示卡、FPGA 和自行調適 SoC,以及其他能以百億億次級效能處理要求最嚴苛之 AI 工作負載的加速器。
AMD Instinct™ 加速器
AMD 多年來持續投資資料中心加速器市場。生成式 AI 與 LLM 的訓練與推理功能,對運算效能的需求呈現指數級成長。顯示卡是推動生成式 AI 的中心,而現今的 AMD Instinct™ 顯示卡能夠驅動許多速度最快的超級電腦(這些超級電腦使用 AI 來加速癌症研究),或是建立擁有數十億種參數的先進 LLM,供全球科學社群使用。
AMD Instinct 加速器的設計,可大幅加速 HPC 和 AI 工作負載。AMD Instinct™ MI300A 加速器以創新的 AMD CDNA 架構為基礎,並針對百億億次級效能與能效最佳化,成為全球第一款最適合 HPC 與 AI 領域使用的加速處理單元 (APU),其中提供 24 個 "Zen 4" 處理器核心,以及處理器和顯示卡共用的 128 GB HBM3 記憶體,可帶來驚人的效能。
AMD Instinct™ MI300X 顯示卡是一個具備 1,530 億個電晶體的加速器,擁有專為 AI 運算之未來打造的效能。AMD Instinct MI300X 顯示卡以 AMD Instinct MI300A 加速器的相同平台為基礎,在經過重新打造後,其核心擁有生成式 AI 加速技術。AMD Instinct MI300X 顯示卡移除三個 AMD EPYC™ 處理器運算裸晶以利安裝兩個額外顯示卡小晶片,並將平台的記憶體增加 64 GB,使 HBM3 記憶體來到驚人的 192 GB;此密度達到競爭對手的 2.4 倍,而 5.2 TB/s 的記憶體頻寬也達到競爭對手之頻寬的 1.6 倍1。
全新的 AMD Instinct 平台也能讓資料中心客戶在業界標準設計中結合多達八個 AMD Instinct MI300X 顯示卡,打造出簡單好用的解決方案,可提供高達 1.5 TB 的 HBM3 記憶體。AMD Instinct MI300X 加速器採用 AMD ROCm™,這是一個開放且經過實證的軟體平台,以開放原始碼語言、編譯器、程式庫和工具為基礎,因此新增此加速器是強大的 AI 基礎架構升級。
適用於 AI 加速的處理器
若要獲致 AI 成功,就需要從雲端到邊緣再到端點部署多個 AI 引擎。除了 AMD Instinct 加速器之外,AMD EPYC 處理器也支援資料中心各式各樣的 AI 工作負載,並根據 TPCx-AI(測量端對端 AI 管道在 10 種不同使用案例和多種不同演算法之間的效能)等業界標準基準提供具競爭優勢的效能2。
每個第 4 代 AMD EPYC 處理器搭載最多 96 個核心,因此現成伺服器可加速許多資料中心和邊緣應用,包括客戶支援、零售、汽車、金融服務、醫學和製造。
AMD AI 產品組合中的其他產品
AMD 最近針對消費型和商用電腦推出 AMD Ryzen™ 7040 系列處理器,其中包括 x86 處理器上全球第一個專用 AI 引擎3。 這款全新 AI 加速器採用 AMD XDNA 技術,每秒可執行高達 10 兆次 AI 作業 (TOPS),提供流暢的 AI 體驗與驚人的電池續航力和速度,讓使用者有能力透過 AI 為未來做好準備。
客戶也使用 AMD Alveo™ 加速器、Versal™ 自行調適 SoC,以及航太產業等許多產業的領導級 FPGA。在航太領域中,NASA 的火星探測車能夠加快以 AI 為基礎的影像偵測;在汽車產業裡也能使用 AMD 技術來驅動駕駛輔助與先進安全功能。AMD 技術也實現工業應用領域的 AI 輔助機器人學,以及為醫療應用領域推動更快速準確的診斷。
AMD 實現開放式生態系統來加速創新
除了提供能處理最嚴苛 AI 工作負載的硬體產品組合之外,AMD 也正在努力推動開放且可供存取的 AI 軟體。開發人員與合作夥伴可以利用 AMD 軟體工具,將 AMD 硬體上的 AI 應用最佳化。目前,這個堆疊包括在 AMD Instinct 顯示卡加速器上使用的 AMD ROCm;在自行調適加速器、SoC 和 FPGA 上使用的 AMD Vitis™ AI;以及在 AMD EPYC 處理器上使用的 AMD 開放原始碼程式庫。
AMD 也利用硬體與開放式軟體、工具、程式庫和模型打造 AI 生態系統,協助減少開發人員與研究人員進入的障礙。最近的兩個範例包括 AMD 與 PyTorch Foundation 和 Hugging Face 的合作。
今年稍早,熱門的 AI 架構 PyTorch 推出 2.0 穩定版本,這代表著重大進步,並為使用者帶來更高的效能。身為 PyTorch Foundation 的創始成員,AMD 很高興 PyTorch 2.0 版本包含對 AMD ROCm 開放式軟體平台支援之 AMD Instinct 與 AMD Radeon™ 顯示卡的支援。
領先業界的開放原始碼 AI 平台 Hugging Face,提供超過 500,000 種模型和資料集,並宣佈與 AMD 進行策略性合作,以針對 AMD 平台最佳化模型,並為數千個客戶會在個人與商業應用領域裡使用的 LLM 推動最大效能和相容性。AMD 也會使用 Hugging Face 及其使用者所提供的模型將其產品最佳化,來增強效能與生產力。這項協同合作會為開放原始碼社群提供加速 AI 創新的絕佳端對端選擇,並讓開發人員更容易存取 AI 模型訓練與推理。
摘要
AMD 推動 AI 效益普及化的作法,是讓客戶能夠輕鬆處理 AI 部署,並提供可橫跨多種應用領域調整規模的解決方案,包括使用 AI 引擎的處理器和自行調適 SoC、邊緣推理,以及資料中心的大規模 AI 推理和訓練。
歡迎今天就聯絡您所在地的 AMD 聯絡人 ,進一步瞭解目前提供以及今年稍後會推出的全新解決方案。
尾註
- MI300-005:AMD 效能實驗室於 2023 年 5 月 17 日對採用 AMD CDNA™ 3 5nm FinFet 工藝技術的 AMD Instinct™ MI300X OAM 加速器 750W (192 GB HBM3) 進行的計算,計算結果為 192 GB HBM3 記憶體容量和 5.218 TFLOPS 持續峰值記憶體頻寬效能。MI300X 記憶體匯流排介面為 8,192,記憶體資料速率為 5.6 Gbps,持續峰直記憶體頻寬為 5.218 TB/s(8,192 位元記憶體匯流排介面 * 5.6 Gbps 記憶體資料速率/8)* 0.91 已傳遞調整。 NVidia Hopper H100 (80GB) SXM 顯示卡加速器的最高已公佈結果為 80GB HBM3 記憶體容量和 3.35 TB/s 顯示卡記憶體頻寬效能。
- SP5-005C:SPECjbb® 2015-MultiJVM Max 比較基於截至 2022 年 11 月 10 日的已發佈結果。配置:雙路 AMD EPYC 9654(815459 SPECjbb®2015 MultiJVM max-jOPS,356204 SPECjbb®2015 MultiJVM critical-jOPS,核心總數為 192 個,http://www.spec.org/jbb2015/results/res2022q4/jbb2015-20221019-00861.html) 和 2P AMD EPYC 7763(420774 SPECjbb®2015 MultiJVM max-jOPS,165211 SPECjbb®2015 MultiJVM critical-jOPS,核心總數為 128 個,http://www.spec.org/jbb2015/results/res2021q3/jbb2015-20210701-00692.html)。 SPEC® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。
- PHX-3a:截至 2023 年 5 月為止,AMD 擁有第一個也是唯一可用於 x86 Windows 處理器上的專屬 AI 引擎,其中「專用 AI 引擎」的定義為一款僅處理 AI 推理模型的 AI 引擎,且屬於 x86 處理器裸晶的一部分。如需詳細資訊,請查看: https://www.amd.com/zh-tw/technologies/xdna.html。
- MI300-005:AMD 效能實驗室於 2023 年 5 月 17 日對採用 AMD CDNA™ 3 5nm FinFet 工藝技術的 AMD Instinct™ MI300X OAM 加速器 750W (192 GB HBM3) 進行的計算,計算結果為 192 GB HBM3 記憶體容量和 5.218 TFLOPS 持續峰值記憶體頻寬效能。MI300X 記憶體匯流排介面為 8,192,記憶體資料速率為 5.6 Gbps,持續峰直記憶體頻寬為 5.218 TB/s(8,192 位元記憶體匯流排介面 * 5.6 Gbps 記憶體資料速率/8)* 0.91 已傳遞調整。 NVidia Hopper H100 (80GB) SXM 顯示卡加速器的最高已公佈結果為 80GB HBM3 記憶體容量和 3.35 TB/s 顯示卡記憶體頻寬效能。
- SP5-005C:SPECjbb® 2015-MultiJVM Max 比較基於截至 2022 年 11 月 10 日的已發佈結果。配置:雙路 AMD EPYC 9654(815459 SPECjbb®2015 MultiJVM max-jOPS,356204 SPECjbb®2015 MultiJVM critical-jOPS,核心總數為 192 個,http://www.spec.org/jbb2015/results/res2022q4/jbb2015-20221019-00861.html) 和 2P AMD EPYC 7763(420774 SPECjbb®2015 MultiJVM max-jOPS,165211 SPECjbb®2015 MultiJVM critical-jOPS,核心總數為 128 個,http://www.spec.org/jbb2015/results/res2021q3/jbb2015-20210701-00692.html)。 SPEC® 和 SPECrate® 是 Standard Performance Evaluation Corporation 的註冊商標。請參閱 www.spec.org 瞭解更多資訊。
- PHX-3a:截至 2023 年 5 月為止,AMD 擁有第一個也是唯一可用於 x86 Windows 處理器上的專屬 AI 引擎,其中「專用 AI 引擎」的定義為一款僅處理 AI 推理模型的 AI 引擎,且屬於 x86 處理器裸晶的一部分。如需詳細資訊,請查看: https://www.amd.com/zh-tw/technologies/xdna.html。