Erweiterbare KI-Infrastrukturen unterstützen
Die AMD Pensando™ Pollara 400 AI NIC ist die erste Ultra Ethernet Consortium (UEC)-fähige KI-Netzwerkschnittstellenkarte (NIC) der Branche. Sie wurde entwickelt, um Anwendungen zu beschleunigen, die über KI-Knoten in Rechenzentren im Mega- und Giga-Maßstab ausgeführt werden, und erreicht Ethernet-Geschwindigkeiten von bis zu 400 Gigabit pro Sekunde (Gbit/s).
Die AMD Pensando Pollara 400 AI NIC basiert auf der bewährten, vollständig hardwareprogrammierbaren Pensando P4-Engine der dritten Generation, bietet führende Performance und zugleich die Flexibilität, für zukünftige Anforderungen programmierbar zu sein. Dies trägt zur Maximierung der Infrastrukturinvestitionen für Hyperscaler, Cloud-Service-Provider und Unternehmen bei.
KI-Performance im großen Maßstab beschleunigen
Mit einer GPU-GPU-Kommunikationsgeschwindigkeit von bis zu 400 Gbit/s bietet die AMD Pensando™ Pollara 400 AI NIC im Vergleich zur Konkurrenz eine bis zu 8 % schnellere Abwicklung von KI-Jobs, wodurch KI-Training und Produktionszeit für Gen AI-Workloads beschleunigt werden.
Verbessern Sie die effektive Verfügbarkeit von Clustern um bis zu ~50 % durch bessere Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit. Die AMD Pensando™ Pollara 400 AI NIC beschleunigt die Konvergenz und die Wiederherstellung von Paketverlusten bei Überlastung und trägt so dazu bei, dass große KI-Workloads mit weniger Unterbrechungen weiterlaufen.
Die AMD Pensando™ Pollara 400 AI NIC wurde für die Anforderungen von KI-Workloads von heute und morgen entwickelt und ermöglicht offene, mehrschichtige Ethernet-Architekturen, die die Netzwerkinvestitionen um bis zu 58 % reduzieren und gleichzeitig die Flexibilität bieten, mit der Weiterentwicklung der KI-Infrastruktur zu skalieren.
Verbesserte operative Exzellenz
Die AMD Pensando™ Pollara 400 AI NIC wurde mit vollständig programmierbarer Hardware und Software entwickelt und minimiert Ausfallzeiten, validiert den Clusterzustand, bietet erweiterte Telemetrie und ermöglicht eine schnellere Produktionsbereitschaft für KI-Infrastrukturen.
Skalierung der zukunftsbereiten KI-Infrastruktur
Wenn KI-Cluster skalieren, hängt die Performance zunehmend vom Verhalten des Netzwerks ab, da Engpässe, Latenzzeiten und Fehlerausbreitung die Systemeffizienz, Kosten und Zuverlässigkeit bestimmen.
In diesem Produktleitfaden erfahren Sie, wie die AMD Pensando™ Pollara 400 AI NIC eine vorhersehbare Skalierung, verbesserte Nutzung und anhaltende Performance bietet, wenn Sie Ihre KI-Infrastruktur erweitern.
AMD Pensando™ Pollara 400 AI NIC im Spotlight
Die wichtige Rolle der NIC-Programmierbarkeit bei der Erweiterbarkeit von Rechenzentrumsnetzwerken für KI
Die Infrastruktur wird derzeit ausgebaut, um KI-Workloads hosten zu können. Für eine effektive Erweiterbarkeit spielen Netzwerke eine entscheidende Rolle, und diese Netzwerke tendieren zu Ethernet. Doch bei effektiven Netzwerken geht es nicht nur um Switches – auch die Integration von erweiterten Funktionen in Netzwerkschnittstellenkarten ist eine wesentliche Designstrategie. Jim Frey, Principal Analyst of Enterprise Networking bei der Enterprise Strategy Group von TechTarget, erläutert, warum er der Meinung ist, dass die programmierbaren NICs von AMD einen optimierten Weg zum Erfolg darstellen.
Die erste AI NIC der Branche mit Unterstützung von Ultra Ethernet Consortium (UEC)-Funktionen
Die AMD Pensando™ Pollara 400 AI NIC integriert UEC-Transportfunktionen in Ethernet, sodass UEC RDMA eine konstantere Performance für KI-Workloads liefern kann. Mit einer voll programmierbaren P4-Engine unterstützt die KI-NIC die kontinuierliche Einführung und Verbesserung von UEC-Funktionen durch Software, sodass Netzwerke mit neuen Standards weiterentwickelt werden können, ohne dass Hardware ausgetauscht werden muss.
Verbesserte Netzwerk-Performance für KI-Workloads
Konkurrenzfähige Führungsrolle bei der kollektiven Kommunikations-Performance von Ethernet-KI
Die AMD Pensando™ Pollara 400 AI NIC mit ROCm™ Software wird in beiden Fällen mit RoCEv2 über Standard-Ethernet verwendet und liefert eine bis zu 10 % höhere kollektive KI-Kommunikations-Performance im Vergleich zu NVIDIA mit RCCL.4
AMD Pensando™ Pollara 400 AI NIC
NVIDIA 400G RDMA NIC
UEC‑fähiger RDMA auf der AMD AI NIC: Signifikante Fortschritte bei der kollektiven KI-Kommunikations-Performance
Die AMD Pensando™ Pollara 400 AI NIC erreicht mit UEC‑fähigem RDMA im Vergleich zu RoCEv2 eine bis zu 25 % höhere Performance bei kollektiven Kommunikationsabläufen.5
AMD Pensando™ Pollara 400 AI NIC UEC-RDMA – UEC‑fähiger RDMA
AMD Pensando™ Pollara 400 AI NIC UEC-RDMA – RoCEv2
Funktionen
Intelligente Netzwerküberwachung und Lastausgleich
- Intelligentes Packet Spray
- Außerplanmäßige Paketverarbeitung und Nachrichtenzustellung in der richtigen Reihenfolge
- Selektive erneute Übertragung
- Steuerung einer pfadabhängigen Überlastung
- Schnelle Fehlererkennung
Intelligentes Packet Spray
Mit dem intelligenten Packet Spray können Teams die Netzwerk-Performance nahtlos optimieren, indem damit der Lastausgleich verbessert sowie die Gesamteffizienz und Skalierbarkeit gesteigert werden. Eine verbesserte Netzwerk-Performance kann die GPU-zu-GPU-Kommunikationszeiten erheblich verkürzen, was zu einer schnelleren Job-Abwicklung und einer höheren Betriebseffizienz führt.
Außerplanmäßige Paketverarbeitung und Nachrichtenzustellung in der richtigen Reihenfolge
Stellen Sie sicher, dass Nachrichten in der richtigen Reihenfolge zugestellt werden, selbst wenn Multipathing- und Packet-Spray-Techniken eingesetzt werden. Die erweiterte Funktion für die außerplanmäßige Nachrichtenzustellung verarbeitet Datenpakete, die möglicherweise nicht in der richtigen Reihenfolge ankommen, und legt sie nahtlos direkt im GPU-Speicher ab, ohne dass eine Pufferung erforderlich ist.
Selektive erneute Übertragung
Steigern Sie die Netzwerk-Performance durch die erneute Übertragung mittels selektiver Bestätigung (Selective Acknowledgment, SACK), mit der sichergestellt wird, dass nur verlorene oder beschädigte Pakete erneut übertragen werden. SACK erkennt und sendet erneut verlorene oder beschädigte Pakete effizient und optimiert so die Bandbreitennutzung, reduziert die Latenz während der Wiederherstellung von Paketverlusten und minimiert redundante Datenübertragungen für außergewöhnliche Effizienz.
Steuerung einer pfadabhängigen Überlastung
Konzentrieren Sie sich mit Echtzeittelemetrie und netzwerkfähigen Algorithmen auf Workloads statt auf Netzwerküberwachung. Die Funktion zur Steuerung einer pfadabhängigen Überlastung vereinfacht die Verwaltung der Netzwerk-Performance, sodass Teams kritische Probleme schnell erkennen und beheben können und gleichzeitig die Auswirkungen von Incast-Szenarien gemindert werden.
Schnelle Fehlererkennung
Dank der schnellen Fehlererkennung können Teams Probleme innerhalb von Millisekunden lokalisieren, was eine nahezu sofortige Failover-Wiederherstellung ermöglicht und die Ausfallzeit der GPU erheblich reduziert. Profitieren Sie von einer höheren Beobachtbarkeit des Netzwerks mit Latenzmetriken in nahezu Echtzeit sowie Statistiken zu Überlastungen und Verlusten.
AMD Pensando™ Pollara 400 AI NIC Spezifikationen
| Maximale Bandbreite | Bauform | Ethernet-Schnittstelle | Ethernet-Geschwindigkeiten | Ethernet-Konfigurationen | Verwaltung |
| Bis zu 400 Gbit/s | Halbe Höhe, halbe Länge | PCIe® Gen5.0 x16; OCP® 3.0 | 25/50/100/200/400 Gbit/s | Unterstützt bis zu 4 Ports |
MCTP über SMBus |
Partner-Ökosystemlösungen
AMD arbeitet mit führenden Erstausrüstern (OEMs) und Original Design Manufacturers (ODMs) zusammen, um ein umfassendes Ökosystem von AMD Networking-basierten Lösungen bereitzustellen. Entdecken Sie unser vielfältiges Portfolio an Partnerangeboten, mit denen Innovationen und Leistung beschleunigt werden.
AMD Pensando™ Pollara 400 AI NIC-fähige Serverplattformen
Ressourcen
Die Zukunft von KI-Networking erschließen
Erfahren Sie, wie die AMD Pensando Pollara 400 AI NIC Ihre erweiterbare KI-Infrastruktur transformieren kann.
Entdecken Sie die komplette Suite von AMD Netzwerklösungen, die für moderne High-Performance-Rechenzentren entwickelt wurden.
Fußnoten
- PEN-020: Tests durchgeführt im AMD Leistungslabor am [15. September 2025] auf der AMD Pensando Pollara AI NIC mit Llama 3.1-405B bei 64 Global Batch Size (GBS) mit 8K Sequenzlänge, auf einem Testsystem bestehend aus einem SMC-300X Server (8 Knoten) für GPU-GPU-Kommunikation mit 2 x AMD Pensando Pollara AI NIC oder 2 x Nvidia CX-7, 2P AMD EPYC 9454 (48 Kerne) Prozessor, 8 x AMD Instinct MI300X GPUs, Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic, ROCm 6.4.1.0-83-69b59e5
Die folgenden Vorgänge sind Teil der Gateway-Funktion
Konfiguration: Anzahl Layer=4, Datentyp=BF16, DCN - TP=1, PP=1, SP=1, DP=1, FSDP=-1, ICI - TP=1, PP=1, SP=1, DP=1, FSDP=8.
AINIC-Container: jax-private:rocm6.4.0-jax0.5.0-py3.10.12-tedev2.1-20250801_training. Die Ergebnisse können je nach Faktoren wie u. a. Systemkonfiguration und Softwareeinstellungen abweichen.
- PEN-019: Tests durchgeführt im AMD Leistungslabor am [15. September 2025] auf der AMD Pensando Pollara AI NIC auf einem Testsystem mit SMC-300X-Server für GPU-GPU-Kommunikation: 2 x AMD Pensando Pollara AI NIC, 2P AMD EPYC 9454 (48 Kerne) Prozessor, 8 x AMD Instinct MI300X GPU, Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic, ROCm 6.4.1.0-83-69b59e5. Tests bei Ausführung von Llama-3.1-8B, Modellkonfiguration: SEQ_LEN=2048, TP=1, PP=1, CP=1,FP8=1, MBS=10, GBS = 5120. Iteration = 2, Anzahl Pfade/QP: 128. Die Ergebnisse können je nach Faktoren wie u. a. Systemkonfiguration und Softwareeinstellungen abweichen.
- PEN-018: AMD Vergleich und Preise zum 6. Juli 2025 für Netzwerk-Fabric-Kosten zur Unterstützung von 128.000 GPUs. Vergleich einer Pollara NIC mit Multiplane Fabric und Packet Spray auf einem 800G Tomahawk 5-basierten Multiplane Design gegenüber einem generischen FAT-Tree Fabric, das auf vollständig geplanten Big-Buffer (Jericho3/Ramon3) 800G-Switching-Plattformen basiert. Es wird angenommen, dass das generische System eine konkurrenzfähige NIC verwendet, wobei die NIC-Kosten als vergleichbar angesehen werden. Das Pollara-basierte Design wird Schätzungen zufolge Kosteneinsparungen bis zu 58 % für Netzwerk-Switching ermöglichen, da es die Verwendung eines kostengünstigeren Tomahawk 5-basierten Switching in einer Multiplane-Architektur ermöglicht. AMD Vergleich und Preise zum 23.4.2025 für ein Tomahawk 5-System mit Pensando Pollara NIC mit exklusivem Multiplane-Fabric und Packet Spray gegenüber einer generischen Big-Buffer 800G-Switching-Plattform; das generische System würde eine NIC eines Mitbewerbers verwenden, die Kosten für NICs werden als vergleichbar angesehen. Durch die Bereitstellung von Pollara mit Multi-Fabric-Unterstützung und Packet Spray können Kunden kostengünstige Multiplane-Netzwerk-Fabrics anstelle eines FAT-Tree-Designs mit weniger Netzwerk-Switches erstellen, um die gleiche Netzwerkbandbreite im gesamten Fabric bereitzustellen. Dadurch werden sowohl die Kosten für die Switch-Plattform als auch die Kosten für Kabel und Optik drastisch reduziert.
- PEN-015 – Tests durchgeführt im AMD Leistungslabor am [13. Mai 2025] auf [Pollara AI NIC und Nvidia CX7 NIC], auf einem Testsystem mit 8 Knoten mit 8 x MI300X AMD GPUs (64 GPUs); Broadcom Tomahawk 5-basiertem Leaf-Switch (64 x 800G) Modell Dell z9864f-r0; RAIL-Topologie; AMD AI NIC Pollara – 64 NICs, ROCm™ Version 6.3.2.0-66-cbc70b5 ODER Nvidia CX7 SmartNIC – 64 NICs, RCCL Version 2.24.3-develop:7961624; CPU-Modell in jedem der 8 Knoten – AMD EPYC 9454 Dual-Socket-Prozessor mit 48 Kernen; Betriebssystem Ubuntu® 22.04.5 LTS; Kernel 5.15.0-139-generic.
Alle Anwendungssoftware-Bibliotheken (RCCL und ROCm) und die Testumgebung sind mit Ausnahme der hardwarespezifischen Low-Level-Treiber genau identisch.
Für die Nvidia CX7 Karte werden die Treiber anhand der auf der NVIDIA Website öffentlich zugänglichen Anleitung zur Installation von Linux-Treibern installiert.
https://docs.nvidia.com/networking/display/connectx7vpi/linux+driver+installation
Für AMD Pensando Pollara NIC
Die Treiber werden aus dem internen Build verwendet, sollen aber in den kommenden Monaten öffentlich verfügbar sein.
Die folgenden kollektiven Kommunikationsvorgänge wurden gemessen
Allreduce, Allroall, Alltoallv, Broadcast, Reduce, Scatter, Allgather
- PEN-016 – Tests durchgeführt vom AMD Leistungslabor am [28. April 2025] auf der [AMD Pensando™ Pollara 400 AI NIC], auf einem Produktionssystem mit den folgenden Komponenten: 2 Knoten mit 8 MI300X AMD GPUs (16 GPUs): Broadcom Tomahawk 4-basierter Leaf-Switch (64 x 400G) aus MICAS-Netzwerk; CLOS-Topologie; AMD Pensando Pollara AI NIC – 16 NICs; CPU-Modell in jedem der beiden Knoten – Dual-Socket-CPU Intel® Xeon® 8568 der 5. Generation mit 48 Kernen und PCIe® Gen-5 BIOS Version 1.3.6; Mitigation – Aus (Standard)
Systemprofileinstellung – Performance (Standard) SMT – aktiviert (Standard); Betriebssystem Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic.
Folgender Vorgang wurde gemessen: Allreduce
Durchschnittlich 25 % für Allreduce-Vorgänge mit 4QP und UEC-fähigem RDMA im Vergleich zu RoCEv2 für mehrere Samples unterschiedlicher Nachrichtengröße (512 MB, 1 GB, 2 GB, 4 GB, 8 GB, 16 GB). Die Ergebnisse basieren auf durchschnittlich mindestens 8 Testläufen.
- PEN-020: Tests durchgeführt im AMD Leistungslabor am [15. September 2025] auf der AMD Pensando Pollara AI NIC mit Llama 3.1-405B bei 64 Global Batch Size (GBS) mit 8K Sequenzlänge, auf einem Testsystem bestehend aus einem SMC-300X Server (8 Knoten) für GPU-GPU-Kommunikation mit 2 x AMD Pensando Pollara AI NIC oder 2 x Nvidia CX-7, 2P AMD EPYC 9454 (48 Kerne) Prozessor, 8 x AMD Instinct MI300X GPUs, Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic, ROCm 6.4.1.0-83-69b59e5
Die folgenden Vorgänge sind Teil der Gateway-Funktion
Konfiguration: Anzahl Layer=4, Datentyp=BF16, DCN - TP=1, PP=1, SP=1, DP=1, FSDP=-1, ICI - TP=1, PP=1, SP=1, DP=1, FSDP=8.
AINIC-Container: jax-private:rocm6.4.0-jax0.5.0-py3.10.12-tedev2.1-20250801_training. Die Ergebnisse können je nach Faktoren wie u. a. Systemkonfiguration und Softwareeinstellungen abweichen. - PEN-019: Tests durchgeführt im AMD Leistungslabor am [15. September 2025] auf der AMD Pensando Pollara AI NIC auf einem Testsystem mit SMC-300X-Server für GPU-GPU-Kommunikation: 2 x AMD Pensando Pollara AI NIC, 2P AMD EPYC 9454 (48 Kerne) Prozessor, 8 x AMD Instinct MI300X GPU, Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic, ROCm 6.4.1.0-83-69b59e5. Tests bei Ausführung von Llama-3.1-8B, Modellkonfiguration: SEQ_LEN=2048, TP=1, PP=1, CP=1,FP8=1, MBS=10, GBS = 5120. Iteration = 2, Anzahl Pfade/QP: 128. Die Ergebnisse können je nach Faktoren wie u. a. Systemkonfiguration und Softwareeinstellungen abweichen.
- PEN-018: AMD Vergleich und Preise zum 6. Juli 2025 für Netzwerk-Fabric-Kosten zur Unterstützung von 128.000 GPUs. Vergleich einer Pollara NIC mit Multiplane Fabric und Packet Spray auf einem 800G Tomahawk 5-basierten Multiplane Design gegenüber einem generischen FAT-Tree Fabric, das auf vollständig geplanten Big-Buffer (Jericho3/Ramon3) 800G-Switching-Plattformen basiert. Es wird angenommen, dass das generische System eine konkurrenzfähige NIC verwendet, wobei die NIC-Kosten als vergleichbar angesehen werden. Das Pollara-basierte Design wird Schätzungen zufolge Kosteneinsparungen bis zu 58 % für Netzwerk-Switching ermöglichen, da es die Verwendung eines kostengünstigeren Tomahawk 5-basierten Switching in einer Multiplane-Architektur ermöglicht. AMD Vergleich und Preise zum 23.4.2025 für ein Tomahawk 5-System mit Pensando Pollara NIC mit exklusivem Multiplane-Fabric und Packet Spray gegenüber einer generischen Big-Buffer 800G-Switching-Plattform; das generische System würde eine NIC eines Mitbewerbers verwenden, die Kosten für NICs werden als vergleichbar angesehen. Durch die Bereitstellung von Pollara mit Multi-Fabric-Unterstützung und Packet Spray können Kunden kostengünstige Multiplane-Netzwerk-Fabrics anstelle eines FAT-Tree-Designs mit weniger Netzwerk-Switches erstellen, um die gleiche Netzwerkbandbreite im gesamten Fabric bereitzustellen. Dadurch werden sowohl die Kosten für die Switch-Plattform als auch die Kosten für Kabel und Optik drastisch reduziert.
- PEN-015 – Tests durchgeführt im AMD Leistungslabor am [13. Mai 2025] auf [Pollara AI NIC und Nvidia CX7 NIC], auf einem Testsystem mit 8 Knoten mit 8 x MI300X AMD GPUs (64 GPUs); Broadcom Tomahawk 5-basiertem Leaf-Switch (64 x 800G) Modell Dell z9864f-r0; RAIL-Topologie; AMD AI NIC Pollara – 64 NICs, ROCm™ Version 6.3.2.0-66-cbc70b5 ODER Nvidia CX7 SmartNIC – 64 NICs, RCCL Version 2.24.3-develop:7961624; CPU-Modell in jedem der 8 Knoten – AMD EPYC 9454 Dual-Socket-Prozessor mit 48 Kernen; Betriebssystem Ubuntu® 22.04.5 LTS; Kernel 5.15.0-139-generic.
Alle Anwendungssoftware-Bibliotheken (RCCL und ROCm) und die Testumgebung sind mit Ausnahme der hardwarespezifischen Low-Level-Treiber genau identisch.
Für die Nvidia CX7 Karte werden die Treiber anhand der auf der NVIDIA Website öffentlich zugänglichen Anleitung zur Installation von Linux-Treibern installiert.
https://docs.nvidia.com/networking/display/connectx7vpi/linux+driver+installation
Für AMD Pensando Pollara NIC
Die Treiber werden aus dem internen Build verwendet, sollen aber in den kommenden Monaten öffentlich verfügbar sein.
Die folgenden kollektiven Kommunikationsvorgänge wurden gemessen
Allreduce, Allroall, Alltoallv, Broadcast, Reduce, Scatter, Allgather - PEN-016 – Tests durchgeführt vom AMD Leistungslabor am [28. April 2025] auf der [AMD Pensando™ Pollara 400 AI NIC], auf einem Produktionssystem mit den folgenden Komponenten: 2 Knoten mit 8 MI300X AMD GPUs (16 GPUs): Broadcom Tomahawk 4-basierter Leaf-Switch (64 x 400G) aus MICAS-Netzwerk; CLOS-Topologie; AMD Pensando Pollara AI NIC – 16 NICs; CPU-Modell in jedem der beiden Knoten – Dual-Socket-CPU Intel® Xeon® 8568 der 5. Generation mit 48 Kernen und PCIe® Gen-5 BIOS Version 1.3.6; Mitigation – Aus (Standard)
Systemprofileinstellung – Performance (Standard) SMT – aktiviert (Standard); Betriebssystem Ubuntu 22.04.5 LTS, Kernel 5.15.0-139-generic.
Folgender Vorgang wurde gemessen: Allreduce
Durchschnittlich 25 % für Allreduce-Vorgänge mit 4QP und UEC-fähigem RDMA im Vergleich zu RoCEv2 für mehrere Samples unterschiedlicher Nachrichtengröße (512 MB, 1 GB, 2 GB, 4 GB, 8 GB, 16 GB). Die Ergebnisse basieren auf durchschnittlich mindestens 8 Testläufen.