Kria KV260 Basis-Zubehörpaket
Stromversorgung und Netzteil, Ethernet-Kabel, USB-Kabelzubehör und DP- oder HDMI™ Monitor.
von: LogicTronix and PROPHESEE
Ereignisbasierte Sensoren (Event Vision-Based, EVB) bieten beschleunigte Erkennung, verbesserten Betrieb in unvorhersehbaren Lichtverhältnissen und niedrigere Kommunikationsanforderungen im Vergleich zu bildbasierten Sensoren.¹ Diese Anwendung demonstriert einen integrierten EVB-Sensor über MIPI im AMD Kria™ KV260 Vision AI Starter Kit, der Objekterkennung und -Tracking für eine optimierte, durchgängige Pipeline-Beschleunigung ausführt. Die Anwendung umfasst ein GitHub-Referenzdesign, mit dem Kunden sie an ihre speziellen Anforderungen anpassen können.
Diese Kria KV260 Vision AI Starter Kit Anwendung umfasst einfache Einrichtungsschritte für die Ereigniskameraverbindung und ML-Inferenzierung für Ereignisdaten-Streams. Sie bietet zudem eine GitHub-Seite, mit der Sie die Pipeline ändern können, um Ihre eigenen Anwendungen zu erstellen.
Jedes Pixel meldet, wenn eine relative Änderung in der Beleuchtungsintensität erkannt wird, die einen definierten Prozentsatz der vorherigen Intensität über- oder unterschreitet. Anstatt Bilder in einem festgelegten Zeitintervall zu erfassen, erkennt die Ereigniskamera die Veränderung der Helligkeit asynchron pro Pixel und erstellt Ereignisdaten-Streams. Mehr über die Funktionsweise ereignisbasierter Sensoren erfahren Sie hier.
Ereigniskamera-Datensätze werden von mehreren Organisationen bereitgestellt. Besuchen Sie die PROPHESEE-Datensatzseite bzw. die Seiten für die DSEC- oder eTraM-Datensätze. Mit einer Ereigniskamera können Sie einen eigenen Datensatz auf Grundlage seiner Daten-Streams erfassen und erstellen.
Wenn die Ereigniskamera mit einer MIPI-Schnittstelle ausgestattet ist, finden Sie im Beispiel Kria SOM SmartCam Konzept mit Raspberry Pi allgemeine Hinweise zum Erstellen von AMD Vivado und AMD Vitis Konzepten. Da die Ereigniskamera Ereignisdaten auf andere Weise als eine bildbasierte Frame-Kamera generiert, besteht die Vivado IP Pipeline aus einer MIPI-DMA-PS (DDR) Pipeline. Es müssen jedoch keine Demosaic-, Gamma Correction- oder Farbkorrektur-IP-Cores dazwischen geschaltet werden. Für eine USB-basierte Ereigniskamera können Sie den benötigten Linux® Treiber einrichten und die Kamera in Betrieb nehmen. Unter diesem GitHub-Link finden Sie ein Anwendungskonzept. Wenn Sie weitere Anpassungsmöglichkeiten benötigen, klicken Sie oben auf die Schaltfläche „LogicTronix kontaktieren“.
Eine Ereigniskamera wird durch ein Ereignis ausgelöst. Im Gegensatz zu einer RGB-Bildkamera generiert sie also Daten-Streams, wenn in der beobachteten oder erfassten Region eine Bewegung stattfindet. Daher ist die allgemein benötigte Verarbeitungsbandbreite niedriger als bei RGB-Daten und -Kameras. Eine Ereigniskamera erreicht zudem höhere Geschwindigkeiten als eine traditionelle Bildkamera.1 Weitere Informationen zu den Vorteilen ereignisbasierter Kameras und Sensoren finden Sie hier.
In diesem Tutorial werden das Trainieren und Inferenzieren ereignisbasierter ML-Modelle ähnlich wie bei bildbasierten RGB-Kameras vorgestellt. Auf der PROPHESEE Yolo Tutorial-Seite finden Sie zudem Informationen zum Trainieren/Inferenzieren eines Yolo-Netzwerks für ereignisbasierte Daten. Weitere Tutorials zum Trainieren und Inferenzieren von ML-Algorithmen oder Netzwerken mit Ereigniskameradaten sind ebenfalls verfügbar.
Certain AMD technologies may require third-party enablement or activation. Supported features may vary by operating system. Please confirm with system manufacturer for specific features. No technology or product can be completely secure.