Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB 
DRUM - Drohnenbasierte Unterstützung bei Massenveranstaltungen
Unsere Technologien für Behörden und Organisationen mit Sicherheitsaufgaben (BOS)
Gedränge im Zugangsbereich einer Großveranstaltung.
Heatmap-Darstellung einer Verdichtung von Personen im Zugangsbereich einer Großveranstaltung.
Bei der Absicherung von Massenveranstaltungen wie z.B. Festivals oder Konzerten ist die Frage nicht unerheblich, wie viele Menschen sich in einem bestimmten Bereich aufhalten – sei es der Zugangsbereich oder ein sog. Wellenbrecher, und ob es irgendwo zu unerwünschten Massenbewegungen und Verdichtungen der Menschenmenge kommt (Gedränge, Massenpanik etc.), denen entgegengewirkt werden muss.
Zur Schaffung eines aktuellen Lagebildes werden von den BOS meist stationäre oder mobile Videosensoren (Mastkameras) eingesetzt. Durch den flexiblen Einsatz und relativ niedrige Kosten werden in der letzten Zeit vermehrt Drohnen als Sensorträgersysteme verwendet. Die permanente Sichtung und Analyse der dabei übertragenen Video- und Audiodaten durch menschliche Operateure sind jedoch anstrengend, zeitraubend, ermüdend und oftmals ungenau. Dadurch, dass die Weitergabe der Informationen an die Einsatzleitung oftmals per Funk erfolgen muss, kommt die Herausforderung der treffenden Beschreibung der Situation erschwerend dazu.
Zielstellung des Projektes DRUM ist Erstellung von Tools, die den Drohnenteams und der Einsatzleitung von BOS bei sicherheitstechnischer Begleitung von Massenveranstaltungen Unterstützung bieten. Die wesentliche Aufgabe ist eine Automatisierung der Sensordatenauswertung sowie eine Schaffung einer Möglichkeit zur Übertragung und anschaulichen Visualisierung der Ergebnisse, wodurch eine schnelle und einfache Einschätzung der Lage, Erkennung gefährlicher Situationen und Verortung relevanter Ereignisse durch die Einsatzleitung ermöglicht wird.
Das Projektteam
Am Fraunhofer IOSB sowie Fraunhofer FKIE forschen wir langjährig an diversen Verfahren zur automatisierten Sensordatenauswertung, Informationsaufbereitung und -darstellung. Unsere Kompetenzen umfassen Verfahren zur Bild- und Videoauswertung, Sensordatenfusion, Lagedarstellungs- und Lageführungssysteme sowie Mensch-Maschine-Interaktion und die cloudbasierte Datenverarbeitung. Durch die Kooperation mehrerer Forschungsgruppen aus beiden Instituten in Rahmen des Projektes DRUM entstand eine Synergie, die es uns ermöglichte, basierend auf den Vorarbeiten des Projektes Projektes IDEAL eine Lösung der o.g. Problematik zu entwickeln.
Lösung
Datenverarbeitungskette
DRUM-Datenverarbeitungskette: Auswertung der Bild-, Audio- und Telemetrie-Daten mit Hilfe von KI-Verfahren erlaubt eine Detektion und Verortung von sicherheitsrelevanten Vorkommnissen auf Massenveranstaltungen.
Die von uns entwickelte Lösung basiert auf der Auswertung von Bild- und Audiodaten mit den neuesten Verfahren der Künstlichen Intelligenz (KI) in Kombination mit der Auswertung der Sensormetadaten (Telemetriedaten, wie z.B. wie z.B. die Flughöhe und Sensor-Orientierung). Mit KI-Methoden ist es möglich, in Drohnenbildern die Personenzahl sowie die Personendichte zu schätzen. Durch Analyse der Audiosignale eines Mikrofonarrays ist es zudem möglich, Umgebungsrauschen herauszufiltern und laute Geräusche (z.B. Schüsse, Schreie etc.) zu detektieren und zu peilen. Durch Auswertung der Telemetriedaten kann jedem Bildpixel und jeder Audioquelle eine reale Geokoordinate zugeordnet werden. Dadurch können die in den Sensordaten detektierten Ereignisse geografisch verortet und live in einer Lagekarte dargestellt werden. Damit können gefährliche Situationen auf Großveranstaltungen schnell erkannt werden.
Schematische Darstellung der angestrebten Lösung: Von der Drohne erfassten Videobilder und Audiosignale werden an die Bodenkontrollstation (zumeist ein Smartphone) geschickt, von wo aus sie per W-Lan an die Auswertestation weitergeleitet werden. Dort werden die Daten automatisch verarbeitet. Die Ergebnisse können direkt dargestellt oder beispielswese an die Einsatzleitung weitergeleitet werden.
Implementierung als Cloud-Lösung (Datenauswertung als Service)
Die Cloud-Lösung sieht vor, dass Videobilder von den Anwendern in die Cloud hochgeladen werden, wo sie ausgewertet werden. Die Ergebnisse können an die Lagedarstellungs- und Führungssysteme verteilt werden.
Neben dem Betrieb als Stand-alone-System wurde im Rahmen des Projektes eine Cloud-Lösung realisiert. Diese bietet das Potential, die Personenzahl- und Personendichteschätzung als Service für Projektpartner aus dem BOS-Bereich bereitzustellen. Die konkrete Art der Bereitstellung wird im weiteren Verlauf des Projekts geprüft. Die Funktionsweise ist wie folgt: der Anwender lädt ein Drohnenbild hoch und erhält eine geschätzte Personenzahl sowie die georeferenzierte Dichtedaten. Die Ergebnisse können auch an die Lagedarstellungs- und Führungssysteme verteilt werden.
Während im Stand-alone-Betrieb die Anforderungen an die Kommunikationsanbindung geringer sind, was mit höherer Robustheit einhergeht, stehen im Cloud-Betrieb Rechenleistung und Datengrundlage zentral zur Verfügung, so dass keine spezielle Rechner-Hardware und -Software vor Ort benötigt werden.
Arbeiten im Projekt
- Live-Abgriff und korrekte Interpretation der Telemetrie-Daten
- Anpassung der vorhandenen Verfahren an die Gegebenheiten von Drohnen
- notwendig, da Bilder aus einer anderen Sichtperspektive + größere Aufnahmehöhe
- Zugriff auf die Telemetrie-Daten (Live und Offline), speziell bei DJI sehr problematisch
- Synchronisation der Metadaten und Bilder
- Kalibrierung
- Aquisition von Trainings- und Testdaten, insbesondere mit Metadaten!
- Schaffung einer Schnittstelle zur Lagekarte
- Realisierung einer Stand-alone-Lösung und einer cloudbasierten Lösung:
- Verteilte Datenverarbeitung
- Schnittstellen zur Realisierung der Datenauswertung als Service
- Fragen des Datenschutzes bzw. Wahrung der Persönlichkeitsrechte bei Videodatenverarbeitung und (Zwischen-)Speicherung
- Aufbau von Kooperationen mit BOS und Industrie
Ergebnisse
In Rahmen des Projektes wurden Kooperationen mit mehreren BOS etabliert und die entwickelten Verfahren erfolgreich an den Einsatzdaten getestet. Der daraus resultierende Demonstrator soll im Rahmen von Nutzerstudien mit Anwendern ausgiebig evaluiert und anschließend weiterentwickelt werden, um den BOS den Zugang zu dieser Technologie zu ermöglichen. Die Möglichkeit schritthaltend Personenzahl sowie Personendichte in relevanten Bereichen zu schätzen, bietet einen großen Mehrwert für BOS dar.