Automatisierte Bild- und Videoauswertung von Drohnendaten für BOS

Ausgangssituation

Die Lageerkundung und Gefahrenabschätzung ist die erste Maßnahme in jedem Einsatz der Feuerwehr, Polizei und Rettungskräfte. Bei größeren und unübersichtlichen Lagen bieten sich dafür Drohnen an. Sie sind mittlerweile bei vielen Behörden und Organisationen mit Sicherheitsaufgaben (BOS) ein etabliertes Einsatzmittel. Neben der Lageerkundung und -fortschreibung sind Drohnen auch für diverse weitere Einsatzszenarien geeignet: Überwachung kritischer Infrastruktur (z.B. Deiche), Erkennung von Änderungen bei Ausbreitung von Bränden oder bei Flüssigkeitsausbreitung auf Gewässern, Suche nach Glutnestern, Personensuche, Tiersuche sowie Einsatzdokumentation.

Problemstellung

Bilder und Videos von Drohnen werden dazu von Bildauswertern begutachtet, anschließend werden die Informationen aufbereitet und an die Einsatzleitung (EL) weitergegeben. Sowohl die Bildauswerter als auch die EL müssen in kürzester Zeit viele Informationen verarbeiten, wodurch im Einsatz ein Flaschenhals entsteht. Leider wird das Potential der automatisierten verfahrensgestützten Live-Auswertung des Videostroms und der dazugehörigen Metadaten (wie z.B. Kamera-Position und Orientierung) aktuell kaum ausgenutzt, so dass sich die Nutzung der Drohne vielfach auf das pure Betrachten des Videobildes reduziert, d.h. die Drohne wird als eine in der Luft hängende Kamera verwendet.

Lösungen

Am Fraunhofer IOSB forschen wir langjährig an diversen Verfahren zur automatisierten Sensordatenauswertung. Unsere Kompetenz erstreckt sich von einfachen bis zu hochkomplexen Verfahren der Bild- und Videoauswertung, angefangen mit Bildqualitätsverbesserung und Bildteppicherstellung bis hin zu Objekterkennung und Aktivitätsanalyse mit den neuesten Verfahren der Künstlicher Intelligenz (KI). Durch Auswertung der Telemetriedaten kann jedem Bildpixel und jeder Detektion eine reale Geokoordinate zugeordnet werden. Dadurch können die in den Sensordaten detektierten Objekte oder Ereignisse geografisch verortet und live in einer Lagekarte dargestellt werden.
Die meisten der Verfahren sind echtzeitfähig. Die Ergebnisse können also live begutachtet und verwertet werden.

• Bildqualitätsverbesserung
  • Videostabilisierung, Bildoptimierung,
  • Rauschreduktion, Superresolution
• Generierung von Übersichtbildern
  • Multiresolutionsbilder
  • Bildmosaike (Bildteppiche)
• Automatische Objekt- und Aktivitätserkennung, geografische Verortung
  • Detektion von Bewegungen und Änderungen
  • Detektion, Kategorisierung und Zählung diverser Objekte, z.B. Personen, Fahrzeuge, Drohnen, etc.
  • Erkennung gefährlicher Verdichtungen in Menschenmengen
  • Verfolgung von Personen, Fahrzeugen, Drohnen
  • Verortung und Darstellung in der Lagekarte (2D und 3D)
• Tools zur Live-Auswertung und Nachauswertung von Videos und Einzelbildern
  • Parallele Aufnahme und Anzeige mehrerer Videoströme
  • Erweiterte Videoplayer-Funktionalität mit Möglichkeit zur Navigation im
    (Live-)Videostream
  • Möglichkeit für das Setzen von Zeitmarken (Zeitpunkte und -intervalle) und Kommentare im Video
  • Export von Einzelbildern, Videoausschnitten
  • Möglichkeiten zur Annotation

Bildqualitätsverbesserung

Bei widrigen Sichtverhältnissen können durch einige Verfahren der Bildverarbeitung drastische Verbesserungen der Wahrnehmung der Bildinhalte erreicht werden. Beispiele für solche Verfahren sind Histogrammspreizung, Rauschunterdrückung und Superresolution. Beim letzten Verfahren werden mehrere schlecht aufgelöste, kontrastschwache oder verrauschte Bilder zu einem verbesserten, kontrastgestärkten Einzelbild zusammengefügt.

Entdecken, Klassifizieren und Verfolgen relevanter Objekte in Videodaten mit Hilfe von KI

Ein Training mit passenden Trainingsdaten vorausgesetzt, können sog. Deep-Learning-Verfahren dazu genutzt werden, ermüdungsfrei relevante Objekte in Videostrom zu entdecken, zu klassifizieren und zu verfolgen, auch bei schlechten Sichtverhältnissen. Dadurch können Drohneneinsätze wesentlich effizienter und deutlich weniger belastend gestaltet werden.

Neben den RGB- und Thermalkameras können Drohnen auch andere Nutzlasten (Payloads) tragen, z.B. Multispektralkameras, Laserscanner und Radare – einzeln oder im Verbund. Damit können viele weitere Use Cases abgedeckt werden, wie z.B.

• Personensuche, Tiersuche
• Detektion von Glutnestern
• Drohnendetektion
• Oberflächenbeschaffenheit
• Zustand der Vegetation
• 3D-Rekonstruktion, Höhenabschätzung etc.