Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB

Künstliche Intelligenz in der Fernerkundung

Objekte suchen und Daten komprimieren mit KI

Mit KI detektierte Objekte mit Klassenzuweisung.
Mit KI detektierte Objekte mit Klassenzuweisung.
Doppelte Objektdetektion durch überlappende Bildbereiche (Base, Box-NMS) und Lösung des Problems durch ARM-NMS.
Visualisierung der vielen Kanäle eines Hyperspektralbildes
Visualisierung der vielen Kanäle eines Hyperspektralbildes

Mit KI den Überblick behalten

KI-Anwendungen sind in vielen Bereichen des Alltags bereits weit verbreitet. Entsprechend trainierte Netze schreiben Texte, gestalten Bilder und erkennen in mehrdimensionalen Räumen Strukturen, die das menschliche Vorstellungsvermögen oft übersteigen.

Klassische Aufgaben der Auswertung großer (Mengen) Luft- und Satellitenbilddaten sind das Suchen, Finden, Klassifizieren und Zählen von verschiedenen Objekten. Auch hier stößt das menschliche Auge an seine Grenzen. Betrachtet der Auswerter die Gesamtaufnahme, werden kleinere Objekte schnell übersehen. Untersucht er vergrößerte Bildausschnitte, ist es schwierig den Überblick der Gesamtaufnahme zu bewahren. Deshalb werden immer häufiger automatisierte Methoden der digitalen Bildverarbeitung für solche Aufgaben angewendet. Egal ob Schiffe in Häfen, Flugzeuge am Flughafen oder Autos auf Parkplätzen: moderne Objektdetektoren unterstützen mit Hilfe immer stärkerer Hardware-Komponenten in Echtzeit bei der Auswertung fernerkundlicher Daten. Dazu wird das großformatige Bild in Kacheln mit sich überlappenden Bereichen unterteilt und ausgewertet. Dies führte bisher allerdings in den sich überlappenden Bereichen häufig zu doppelten Objektdetektionen.

Aus diesem Grund wurde am Fraunhofer IOSB eine KI entwickelt, die auf dem Ansatz des ARM-NMS beruht (Area Rescoring Mask - Non Maximum Suppression). Zweistufige Objektdetektoren erstellen zunächst Vorschläge für Detektionen und legen sogenannte Bounding Boxes um die Objekte. Anschließend werden die Vorschläge mit der Non Maximum Suppression-Methode aussortiert. Problematisch bei den rechteckigen Bounding Boxen ist, dass deren Form mit den Umrissen der zu detektierenden Objekte meist nicht übereinstimmen. Mit der Area Rescoring Mask-Methode werden deshalb die Formen der Bounding Boxes an die Form des zu detektierenden Objektes angepasst. Außerdem wurde die KI dahingehend trainiert, dass auch Szenen mit stark variierender Objektdichte zuverlässig ausgewertet werden, was bisherige Ansätze vor Probleme stellte.

Fernerkundliches Gesamtsystem mit komprimierten Daten.
Übersicht über die 1D-Convolutional Autoencoder Architektur.

Datenvolumen sparen mit KI 

Herkömmliche RGB-Sensoren (z.B. Handykameras) zeichnen pro Pixel drei Kanäle im sichtbaren Wellenlängenbereich auf. Bildgebende Hyperspektral-Sensoren messen im Gegensatz dazu bis zu mehrere hundert Kanäle pro Pixel. Dadurch lassen sich materialspezifische Unterschiede von Oberflächen unterscheiden. Allerdings vergrößert sich das Datenvolumen hyperspektraler Aufnahmen durch die zusätzlichen Bildinformationen enorm (mehrere 100 MB!). Auf Grund begrenzter Übertragungsraten und Speichermedienvolumina ergeben sich deshalb Restriktionen beim Datentransfer und Archivieren.

Doch gerade echtzeit-nahe Anwendungen werden im heutigen Alltag immer relevanter, weshalb auch eine möglichst schnelle Datenübertragung großer Datenmengen wichtiger wird. Solange jedoch nur eine begrenzte Bandbreite (3G, 4G, 5G, …) dafür zur Verfügung steht, besteht die Alternative in der Kompression der Daten. Mit verlustfreien Kompressionsmethoden werden die Daten zwar identisch zum Original rekonstruiert, jedoch ist die Leistungsfähigkeit bzw. die Kompressionsrate stark begrenzt. Das Ziel besteht deshalb in der Entwicklung verlustbehafteter Ansätze, die gleichzeitig möglichst leistungsstark sind und trotzdem nur einen geringen Informationsverlust verursachen.

Dazu wurden am Fraunhofer IOSB eine 1D-Convolutional Autoencoder Architektur entwickelt, die Kompressionsraten zwischen 4-100 ermöglichen. Der Encoder komprimiert auf der Flugplattform die Hyperspektraldaten, indem er mit Daten verschiedener Hyperspektral-Sensoren (Satellit-, luft- und UAV-getragen) trainiert wurde. Der Decoder ist beispielsweise in der Empfangsstation installiert und dekomprimiert, bzw. rekonstruiert die originalen Daten präzise. Der Vorteil dieser Methode ist, dass das Verfahren auf Grund des vielseitigen Trainingsdatensatzes ohne zusätzliches Training für diverse Sensoren und deren Spezifika funktioniert und robust gegenüber unterschiedlichem Inhalt der Szene (Landoberfläche, Landnutzung, …) ist.

Weiterführende Informationen:

 

© Fraunhofer IOSB

Abteilung Szenenanalyse

Sie wollen mehr über unsere Produkte im Bereich Szenenanalyse erfahren?  

Zur Abteilung SZA

Mit KI den Überblick behalten

Michel, Andreas & Gross, Wolfgang & Hinz, S. & Middelmann, Wolfgang. (2022). ARM-NMS: SHAPE BASED NON-MAXIMUM SUPPRESSION FOR INSTANCE SEGMENTATION IN LARGE SCALE IMAGERY. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. V-2-2022. 291-298. 10.5194/isprs-annals-V-2-2022-291-2022.

Michel, A., Gross, W., Schenkel, F., & Middelmann, W. (2022). Class-aware object counting. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 469-478).

Datenvolumen sparen mit KI

Kuester, Jannick, Wolfgang Gross, and Wolfgang Middelmann. "1D-convolutional autoencoder based hyperspectral data compression." The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences 43 (2021): 15-21.

Jannick Kuester, Johannes Anastasiadis, Wolfgang Middelmann, Michael Heizmann, "Investigating the influence of hyperspectral data compression on spectral unmixing," Proc. SPIE 12267, Image and Signal Processing for Remote Sensing XXVIII, 122670H

J. Kuester, W. Gross, S. Schreiner, M. Heizmann and W. Middelmann, "Transferability of Convolutional Autoencoder Model For Lossy Compression to Unknown Hyperspectral Prisma Data," 2022 12th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS), Rome, Italy, 2022, pp. 1-5, doi: 10.1109/WHISPERS56178.2022.9955109.

Jannick Kuester, Wolfgang Gross, Michael Heizmann, Wolfgang Middelmann, "Impact of different compression rates for hyperspectral data compression based on a convolutional autoencoder," Proc. SPIE 11862, Image and Signal Processing for Remote Sensing XXVII, 118620H (12 September 2021)