Bildverarbeitung / Bildauswertung

Die automatisierte Auswertung von Bild- und Videodaten ist ein Kompetenzschwerpunkt am Fraunhofer IOSB und stellt ein wichtiges Element vieler sensorgestützter Anwendungen dar. Oft kommen hierbei Verfahren aus dem Bereich der KI und des maschinellen Lernens zum Einsatz, die es beispielsweise ermöglichen

  • Objekte in Bildern und Videos zu erkennen, 
  • diese Objekte zu verfolgen sowie 
  • ganze Szenen oder Aktivitäten semantisch zu interpretieren. 

Zu unseren Kernkompetenzen  in diesem Bereich zählt die Anpassung von komplexen und datenhungrigen Verfahren auf neue Anwendungsfälle. Außerdem greifen wir neueste Forschungsarbeiten etwa zum Einsatz von Foundation-Modellen oder großen Sprach-Bild-Modellen auf und treiben diese voran (vgl. Interview »Vision Language Models heben die Interaktion auf eine neue Stufe«).

Breite Expertise

Unsere Expertise beschränkt sich dabei nicht auf konventionelle Bild- und Videodaten. Sie schließt die Auswertung von Daten anderer bildgebender Sensoren mit ein, etwa Infrarot- und Multispektraldaten sowie die Erstellung und Auswertung von 3D-Punktwolken.

Da die Auswerteverfahren bis in die Anwendung umgesetzt und integriert werden, zählen auch Aspekte wie die Unterstützung diverser Standards und Schnittstellen zu Sensorträgern und die Laufzeitoptimierung komplexer KI-Modelle für Sensorplattformen mit eingeschränktem Energie- oder Platzbudget (bspw. Fahrzeuginnenraum, Drohnen) zu unseren Kompetenzen.

Anwendungsbereiche

Der Einsatzbereich von Bild- und Videoauswerteverfahren ist sehr breit. Wir haben unter anderem in folgenden Anwendungsfeldern Erfahrung:

  • Produktion und Qualitätskontrolle,
  • Medizin,
  • autonomes Fahren bzw. Verkehrsanalyse, 
  • zivile Sicherheit und
  • Verteidigung.

Beispielprojekte im Bereich Bildauswertung

 

MODEAS

Modulares Drohnenerfassungs- und -assistenzsystem

Erstellung von Starkregengefahrenkarten

Klassifikation von UAV-Daten

Im Rahmen eines Verbundprojekts entwickelt das Fraunhofer IOSB-INA Methoden zur automatisierten Strukturanalyse basierend auf UAV-Bilddaten. Dazu wird eine annotierte Bilddatenbank aufgebaut, Annotationsarten und -klassen werden definiert und die Bilder werden annotiert. Ein KI-Algorithmus wird trainiert, um relevante Strukturen für die Gefahrenkartierung automatisch zu erkennen. Nach der Verifizierung der Ergebnisse des neuronalen Netzes erfolgt die Integration des Netzes in das Gesamtsystem, einschließlich der Entwicklung einer Software-Applikation zur Inferenz des trainierten neuronalen Netzes auf UAV-Bilddaten und der Integration der segmentierten Bilder in ein 3D-Modell.

 

Intelligente Videoauswertung

Mehr Sicherheit und Datenschutz im öffentlichen Raum - durch algorithmenbasierte Videoüberwachung zur Detektion polizeilich relevanter Verhaltensweisen. 

Datenfabrik.NRW

Wärmebildbasierte Anomaliedetektion an Mähdreschern

Im Rahmen des Projekts „Datenfabrik.NRW“ hat die CLAAS Gruppe in der Funktionsprüfung ihrer Mähdrescher eine wärmebildbasierte Anomaliedetektion eingeführt. Dadurch wurde der Prüfprozess automatisiert und objektiviert. Die KI-basierte Applikation zur automatischen Erkennung fehlerhafter Komponenten verbessert nicht nur die Produktqualität, sondern reduziert auch Reklamationen und unterstützt die Mitarbeitenden in der Prüfkabine.

 

ABUL

Automatisierte Bildauswertung für Unbemannte Luftfahrzeuge

Bildbasierte Qualitätsinspektion von Verbundsicherheitsgläsern

Angesichts der kritischen Bedeutung von fehlerfreien Verbundsicherheitsgläsern für die Sicherheit von Personen und Objekten zielte das Projekt darauf ab, die derzeit zeitaufwendige und fehleranfällige manuelle Sichtprüfung durch ein automatisiertes System zu ersetzen, das Mängel wie Kratzer und Schlieren effizient erkennt.