IDEAL - Intelligente Drohnenbasierte Einsatzunterstützung durch Automatisierung der Lageerkundung

Unsere Technologien für Behörden und Organisationen mit Sicherheitsaufgaben (BOS)

Ausgangssituation

Die Lageerkundung und Gefahrenabschätzung ist die erste Maßnahme in jedem Einsatz der Feuerwehr, Polizei und Rettungskräfte. Bei größeren und unübersichtlichen Lagen bieten sich dafür Drohnen an. Sie sind mittlerweile bei vielen Behörden und Organisationen mit Sicherheitsaufgaben (BOS) ein etabliertes Einsatzmittel. Neben der Lageerkundung und -fortschreibung sind Drohnen auch für diverse weitere Einsatzszenarien geeignet: Überwachung kritischer Infrastruktur (z.B. Deiche), Erkennung von Änderungen bei Ausbreitung von Bränden oder bei Flüssigkeitsausbreitung auf Gewässern, Suche nach Glutnestern, Personensuche, Tiersuche sowie Einsatzdokumentation.

Problemstellung

Bilder und Videos von Drohnen werden dazu von Bildauswertern begutachtet, anschließend werden die Informationen aufbereitet und an die Einsatzleitung (EL) weitergegeben. Sowohl die Bildauswerter als auch die EL müssen in kürzester Zeit viele Informationen verarbeiten, wodurch im Einsatz ein Flaschenhals entsteht. Leider wird das Potential der automatisierten verfahrensgestützten Live-Auswertung des Videostroms und der dazugehörigen Metadaten (wie z.B. Kamera-Position und Orientierung) aktuell kaum ausgenutzt, so dass sich die Nutzung der Drohne vielfach auf das pure Betrachten des Videobildes reduziert, d.h. die Drohne wird als eine in der Luft hängende Kamera verwendet. Dadurch, dass die Weitergabe der Informationen an die Einsatzleitung oftmals per Funk erfolgen muss, kommt die Herausforderung der treffenden Beschreibung der Situation erschwerend dazu.

Projektteam

Am Fraunhofer IOSB sowie Fraunhofer FKIE forschen wir langjährig an diversen Verfahren zur automatisierten Sensordatenauswertung, Informationsaufbereitung und -darstellung. Unsere Kompetenzen erstrecken sich über Verfahren zur Bild- und Videoauswertung und der Sensordatenfusion, die Lagedarstellungs- und Lageführungssysteme sowie HMI und die cloudbasierte Datenverarbeitung. Durch die Kooperation mehrerer Forschungsgruppen aus beiden Instituten in Rahmen des Projektes DRUM entstand eine Synergie, die es uns ermöglichte, eine Lösung für die o.g. Problematik zu entwickeln.

Lösung

Verortung von erkannten und klassifizierten Objekten in einer Lagekarte. Klassifizierung: BOS (hell- und dunkelblau), zivil (grün) und liegende Personen (rot).
© Fraunhofer IOSB
Verortung von erkannten und klassifizierten Objekten in einer Lagekarte. Klassifizierung: BOS (hell- und dunkelblau), zivil (grün) und liegende Personen (rot).

Die von uns entwickelte Lösung basiert auf der Auswertung von Bild- und Audiodaten in Kombination mit der Auswertung der Sensormetadaten (Telemetriedaten, wie z.B. wie z.B. die Flughöhe und Sensor-Orientierung). Neben den klassischen Methoden der Signalverarbeitung (wie z.B. Bildverbesserung, Rausfiltern der Motorengeräusche der Drohne etc.) kommen die Verfahren aus dem Bereich der Künstlichen Intelligenz (KI) zum Einsatz wie z.B. Detektion, Klassifikation und Verfolgung von verschiedenen Objekten wie z.B. Personen und Fahrzeugen. Durch Auswertung der Telemetriedaten kann jedem Bildpixel und jeder Audioquelle eine reale Geokoordinate zugeordnet werden. Dadurch können die in den Sensordaten detektierten Objekte und Ereignisse geografisch verortet und live in einer Lagekarte dargestellt werden.

Projektdurchführung und Ausblick

In Rahmen des Projektes wurde eine Reihe von BOS-Workshops durchgeführt, in deren Rahmen der aktuelle Bedarf der BOS eruiert werden konnte. Speziell haben wir zwei wichtige Szenarien ausgemacht, auf welche wir den Fokus in dem Projekt gelegt haben. Zum einem war das das Auffinden von vermissten Personen (Detektion von Personen in Videobild sowie Peilung von Klatsch- und Schreigeräuschen mit Hilfe eines Mikrofon-Arrays). Das zweite Szenario war eine Großschadenslage mit Massenanfall an Verletzten (MANV). Hier war der Schwerpunkt die visuelle Unterscheidung zwischen den Einsatzkräften und -Fahrzeugen und übrigen Personen und Fahrzeugen sowie eine bildbasierte Pre-Triage, d.h. Unterscheidung nach Zustand von Personen basierend auf der Pose (liegend, sitzend oder stehend). Weitere Schwerpunkte waren Live-Zugriff auf und korrekte Interpretation der Telemetriedaten sowie die Gestaltung einer benutzerfreundlichen SW-Oberfläche.
In der Vorlaufphase sowie im Laufe des Projektes wurden Kooperationen mit diversen BOS etabliert, so dass wir unsere Verfahren anhand von Daten aus den Übungen und realen Einsätzen der BOS trainieren und testen konnten. Außerdem wurden weitere Problemstellungen deutlich, die wir in den Nachfolgeprojekten angehen, z.B. die Detektion von gefährlichen Situationen bei Massenveranstaltungen im Projekt DRUM.

Verwandte Projekte

 

DRUMDrohnenbasierte Unterstützung der BOS bei Massenveranstaltungen

  • Live-Abschätzung der Personenzahl und Personendichte in einem Drohnenbild
  • Erkennung und geografische Verortung gefährlicher Verdichtungen sowie akustischer Ereignisse (Schuss- und Schreigeräusche)
  • Darstellung in der Lagekarte
 

ABULAutomatisierte Bildauswertung für Unbemannte Luftfahrzeuge

  • Integrationsplattform für die entwickelten Verfahren
  • Live-Videoauswertung und Offline-Nachauswertung
  • Videodatenbank mit Suchfunktionen basierend auf Video-Metadaten
 

SIRIOS - Fraunhofer-Zentrum für die Sicherheit Sozio-Technischer Systeme

  • Digitalisierung der Sicherheit und Schutz von kritischen Infrastrukturen
  • Lageaufklärung, Kommunikation und Einsatzführung
  • Virtuelle Planung und Begleitung von Großveranstaltungen
 

Weitere Projekte der Abteilung VID

Sie wollen mehr Projekte und Produkte im Bereich »Videoauswertesysteme« kennenlernen? Dann besuchen Sie die Projektseite unserer Abteilung VID und informieren Sie sich.

 

 

Interesse an einer Kooperation?

Sie haben Interesse an einer Kooperation mit unserer Abteilung oder Fragen zu unseren aktuellen Forschungsthemen? Dann nehmen Sie Kontakt zu uns auf!