KI-basierte Detektion, Klassifikation und Tracking von Fahrzeugen in großflächigen Videodaten (WAMI)

Großflächige Erfassung von Geschehen

Für ein aktuelles Lagebild beim Schutz großflächiger Infrastrukturen, im Katastropheneinsatz, beim Grenzschutz, bei der Terrorabwehr oder bei der Verkehrsanalyse ist eine zeitnahe Erfassung des Geschehens unerlässlich.

Herkömmliche Videosensorik erfasst nur einen kleinen Szenenbereich, d.h. das Geschehen kann immer nur punktuell in kleinen Teilbereichen erfasst werden. Die Überwachung größerer Szenenbereiche und die Detektion und Verfolgung z.B. mehrerer Fahrzeuge ist damit kaum möglich.

Neuartige Wide Area Motion Imagery (WAMI) Sensorik ermöglicht eine großflächige Überwachung, da sie eine hohe Flächenabdeckung (im Quadratkilometerbereich) bei gleichzeitig hohem Detailgrad aufweist. Durch den Einsatz unbemannter Flugsysteme kann eine kontinuierliche Lageerfassung erreicht werden.

Am Fraunhofer IOSB werden Verfahren zur automatischen Auswertung von WAMI-Daten entwickelt, die die Detektion und Verfolgung von Personen und Fahrzeugen oder die Erkennung von auffälligen Verhaltensmustern realisieren.

WAMI (Wide Area Motion Imagery) Sensorik

Wide Area Motion Imagery (WAMI) ist eine Technik zur Videodatengewinnung, die die weiträumige Überwachung von Quadratkilometern von Bodenfläche mit nur einem luftgetragenen optischen Sensorsystem ermöglicht. Dabei nehmen eine oder mehrere Kameras zeitgleich Bilder auf, die sich leicht überlappen und somit zusammengefügt werden können, um ein größeres Bild mit höherer Bodenabdeckung zu erzeugen. Die Bodenauflösung ist bei geeigneter Flughöhe von einem bis drei Kilometern ausreichend detailliert, um Fahrzeuge oder sogar Personen zu erkennen. Zur Reduktion der Datenrate wird die dabei Bildrate auf z.B. 2 Bilder / Sekunde reduziert. Damit bietet Wide Area Motion Imagery (WAMI) Sensorik eine

• Hohe Szenenabdeckung
• Hohe Auflösung
• Niedrige Bildrate

Beispiel für einen WAMI-Sensor ist ein Experimentalsystem von Hensoldt:

• 2 Hz Bildfrequenz
• Auflösung: ~150 Megapixel
• Szenenabdeckung. 10 km²

WAMI-Videoauswertung

Aufgrund der sehr großen Datenmenge sind automatische Videoauswerteverfahren notwendig, um die relevanten Informationen zu extrahieren, da ein Operator bei der großen Datenmenge und der Vielzahl von Objekten überfordert ist. Die Auswertung erfordert daher
Bildauswerteverfahren zur

• Detektion und Klassifikation von Fahrzeugen und zum
• Multiobjekttracking der Fahrzeuge, um den Fahrverlauf erfassen zu können.
• Sowie Verfahren zur Trajektorienanalyse, um auffällige Trajektorien herausfiltern zu können.

Am IOSB wurden entsprechende Verfahren entwickelt, die eine gleichzeitige Detektion und automatische Verfolgung von mehr als 1000 Fahrzeugen ermöglichen. Eine besondere Herausforderung stellen dabei die hohen Datenraten bei niedrigen Bildraten dar, die mit herkömmlichen Videoverarbeitungsverfahren nicht bewältigt werden können. 

Unser Ansatz kombiniert KI-basierte ansichtsbasierte Detektion und Bewegungsdetektion. Es wird eine Fusion ansichtsbasierter Objektdetektionen und Bewegungsdetektionen für Persistent Tracking (PT) durchgeführt unter Zuordnung von Objektdetektionen zu Tracks durch Objektdeskriptor für visuelle Ähnlichkeit.