Lamini
Durch die Verwendung von Supermicro GPU-Servern mit AMD Instinct™ MI300X kann Lamini LLM-Tuning mit hoher Geschwindigkeit anbieten.
Den geschäftlichen Erfolg mit der richtigen Technologie für alle KI-Auslastungen voranbringen
Da das Tempo – und die Dringlichkeit – von KI-Innovation weiter zunimmt, arbeiten Supermicro und AMD zusammen, damit Sie immer einen Schritt voraus sind. Nutzen Sie rackfähige Server von Supermicro mit AMD EPYC™ Prozessoren und AMD Instinct™ Beschleunigern, um Performance, Kosteneffizienz und Skalierbarkeit für sehr große KI-Auslastungen von heute und morgen zu ermöglichen.
Up to
1.64x
Faster
KI-Herausforderungen mit GPU-Beschleunigung meistern
Gemeinsam bieten Supermicro und AMD ein offenes, stabiles Ökosystem und die bahnbrechende Leistung für einen KI-Lebenszyklus – alles in Kombination mit führender Performance und Effizienz für Ihre einzigartigen Anforderungen.
AMD EPYC Prozessoren können für kleine KI-Modelle und Auslastungen verwendet werden, bei denen die Nähe zu den Daten wichtig ist. AMD Instinct Beschleuniger wiederum glänzen bei großen Modellen und dedizierten KI-Bereitstellungen, die eine sehr hohe Performance erfordern. Im Vergleich zu Nvidia H100 HGX kann die AMD Instinct Platform eine bis zu 1,6-fache Durchsatzsteigerung bei Ausführung der Inferenz auf LLMs wie BLOOM 176B bieten.1
Spielend leicht für KI weiterentwickeln
Erfahren Sie, wie Supermicro H13 Server mit AMD Instinct M1300X Beschleunigern Bereitstellungen im großen Maßstab für die größten KI-Modelle optimieren.
Neue Performance-Level dank CPU-/GPU-Integration
Erfahren Sie, wie Supermicro H13 Systeme mit AMD Instinct M1300A APUs die Leistung der AMD Instinct Beschleuniger und AMD EPYC Prozessoren mit einem gemeinsamen Speicher kombinieren, damit Sie Ihre KI-Initiativen optimieren können.
Hinweis: Testergebnisse für White-Box-System; Informationen zu Produkten/Plattformen von Supermicro unter www.supermicro.com/aplus.
Modernisieren und für KI Platz schaffen
Um IT-Budgets optimal zu nutzen, stoßen Rechenzentren bei verfügbarem Platz, Stromverbrauch oder beidem bereits jetzt an die Grenzen. Supermicro Server mit AMD EPYC Prozessoren liefern führende Performance und Effizienz für die Konsolidierung Ihrer wichtigsten Auslastungen – so werden Platz, Energie und Kühlleistung freigesetzt, um neue unternehmenskritische KI-Auslastungen zu unterstützen.
Ersetzen Sie 100 alte 2P Intel® Xeon® Platinum 8280 CPU-basierte Server durch 14 neue AMD EPYC 9965 CPU-basierte Server2
Bis zu 87 % weniger Server
Bis zu 71 % weniger Stromverbrauch
Bis zu 67 % niedrigere 3-Jahres-Gesamtbetriebskosten
Zur Senkung der Kosten und Gesamtbetriebskosten AMD EPYC 9965 CPU-basierte Server im Vergleich zu Intel® Xeon® Platinum 8592+ CPU-basierten Servern2
Bis zu 63 % weniger Server
Bis zu 45 % weniger Stromverbrauch
Bis zu 44 % niedrigere 3-Jahres-Gesamtbetriebskosten
Hinweis: Testergebnisse für White-Box-System; Informationen zu Produkten/Plattformen von Supermicro unter www.supermicro.com/aplus.
Warum jetzt modernisieren? Die Perspektive von IDC
Erfahren Sie, wie KI die Nachfrage nach umfangreich konfigurierten Servern vorantreibt – und warum IDC sagt, dass es unerlässlich ist, jetzt ein modernes Technologiepaket einzuführen.
AMD und Supermicro machen schwierige Inferenz einfach
Erleben Sie es selbst und testen Sie Ihre KI-Auslastungen, indem Sie eine Testversion von Supermicro H14 Servern mit AMD EPYC Prozessoren anfordern.
Kunden-Storys
Ressourcen
Newsletter und Kontaktanfrage
Rechenzentren-Infos von AMD abonnieren
Kontakt mit einem AMD EPYC™ und Supermicro Vertriebsexperten anfordern
Fußnoten
- MI300-34: Token-Generierungsdurchsatz unter Verwendung von DeepSpeed Inference mit dem Bloom-176b-Modell mit einer Eingabesequenzlänge von 1.948 Token, einer Ausgabesequenzlänge von 100 Token und einer Batch-Größe, die so abgestimmt ist, dass bei jedem Systemvergleich der höchste Durchsatz erzielt wird, basierend auf internen Tests von AMD unter Verwendung eines benutzerdefinierten Docker-Containers für jedes System vom 17. November 2023.
Konfigurationen:
Server mit 2P Intel Xeon Platinum 8480C CPU und 8 x AMD Instinct™ MI300X 192 GB 750 W GPUs, Vorabversion von ROCm™ 6.0, Ubuntu 22.04.2.
im Vergleich zu
Ein Nvidia DGX H100 mit 2 x Intel Xeon Platinum 8480CL Prozessoren, 8 x Nvidia H100 80 GB 700 W GPUs, CUDA 12.0, Ubuntu 22.04.3.
8 GPUs auf jedem System wurden für diesen Test verwendet.
Serverhersteller wählen möglicherweise andere Konfigurationen, was zu anderen Ergebnissen führen kann. Die Performance kann aufgrund neuester Treiber und Optimierungen variieren.
- 9xx5TCO-001B: Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht anstelle eigener Tests als Entscheidungsgrundlage genommen werden. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.12 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 39.100 Einheiten von SPECrate2017_int_base-Performance (Stand 10. Oktober 2024). Bei diesem Szenario wird ein älterer 2P-Server mit Intel Xeon Platinum_8280 mit 28 Kernen mit einer Bewertung von 391 verglichen mit einem 2P-Server mit EPYC 9965 (192 Kerne) und einer Bewertung von 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) sowie mit einem Vergleichs-Upgrade auf einen 2P-Server mit Intel Xeon Platinum 8592+ (64 Kerne) mit einer Bewertung von 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Die tatsächliche SPECrate®2017_int_base-Bewertung für 2P EPYC 9965 kann je nach OEM-Veröffentlichung abweichen. Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „2024 International Country Specific Electricity Factors 10 – July 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency.
Fußnoten
- MI300-34: Token-Generierungsdurchsatz unter Verwendung von DeepSpeed Inference mit dem Bloom-176b-Modell mit einer Eingabesequenzlänge von 1.948 Token, einer Ausgabesequenzlänge von 100 Token und einer Batch-Größe, die so abgestimmt ist, dass bei jedem Systemvergleich der höchste Durchsatz erzielt wird, basierend auf internen Tests von AMD unter Verwendung eines benutzerdefinierten Docker-Containers für jedes System vom 17. November 2023.
Konfigurationen:
Server mit 2P Intel Xeon Platinum 8480C CPU und 8 x AMD Instinct™ MI300X 192 GB 750 W GPUs, Vorabversion von ROCm™ 6.0, Ubuntu 22.04.2.
im Vergleich zu
Ein Nvidia DGX H100 mit 2 x Intel Xeon Platinum 8480CL Prozessoren, 8 x Nvidia H100 80 GB 700 W GPUs, CUDA 12.0, Ubuntu 22.04.3.
8 GPUs auf jedem System wurden für diesen Test verwendet.
Serverhersteller wählen möglicherweise andere Konfigurationen, was zu anderen Ergebnissen führen kann. Die Performance kann aufgrund neuester Treiber und Optimierungen variieren. - 9xx5TCO-001B: Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht anstelle eigener Tests als Entscheidungsgrundlage genommen werden. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.12 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 39.100 Einheiten von SPECrate2017_int_base-Performance (Stand 10. Oktober 2024). Bei diesem Szenario wird ein älterer 2P-Server mit Intel Xeon Platinum_8280 mit 28 Kernen mit einer Bewertung von 391 verglichen mit einem 2P-Server mit EPYC 9965 (192 Kerne) und einer Bewertung von 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) sowie mit einem Vergleichs-Upgrade auf einen 2P-Server mit Intel Xeon Platinum 8592+ (64 Kerne) mit einer Bewertung von 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Die tatsächliche SPECrate®2017_int_base-Bewertung für 2P EPYC 9965 kann je nach OEM-Veröffentlichung abweichen. Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „2024 International Country Specific Electricity Factors 10 – July 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency.