Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB Der Status quo heutiger KI-Systeme ist, dass die Zuverlässigkeit der KI-Ergebnisse für den Anwender nicht nachvollziehbar ist und die Verfahren eine „Black Box“ darstellen. Darüber hinaus stehen der Entwicklung einer robusten und sicheren ML derzeit folgende Probleme entgegen, die insbesondere die Ergebnisse der Verfahren beeinträchtigen können: Die Anfälligkeit gegenüber unbekannten Störungen, Szenarien und unvorhergesehenen Zuständen sowie gegenüber „adversarial attacks“. Dies stellt eine deutliche Einschränkung für den Einsatz von KI-Anwendungen dar, die auch unter widrigen Bedingungen zuverlässig und robust arbeiten müssen. Ziel ist es, dass KI-Systeme eine hohe Genauigkeit aufweisen und robust gegenüber verschiedenen Einflussfaktoren sind.
KI-basierten Detektionsverfahren, XAI Heatmaps
Verstehen von KI-basierten Detektionsverfahren
Heatmaps zum Verständnis der Verfahrenssicht
Ein Beitrag zum Verständnis der Arbeitsweise eines realisierten KI-Detektionsverfahrens zur Objektdetektion in Bilddaten ist es herauszufinden, welche Bildbereiche stark und welche schwach in die Entscheidung des KI-Verfahrens eingehen. Hierbei sind insbesondere Heatmap-Darstellungen hilfreich, die diese Bildbereiche durch Einfärbung veranschaulichen. Diese eignen sich zur Validierung der Ergebnisse durch den Anwender und zur Identifikation und Eliminierung von Fehlern in der Prozessentwicklung. Entsprechende Verfahren werden von VID erforscht und sind als Toolbox integriert.
Beispiel für eine Verfahrensheatmap: Die höchsten Aktivierungen des KI-Verfahrens sind die Radbereiche, die somit primär zur Detektion der Klasse Fahrzeuge beitragen.
Mit Hilfe der Verfahrensheatmaps lassen sich Grenzen der KI-Verfahren hinsichtlich der Objektauflösung verdeutlichen:
- Im mittleren Bereich sowie im Bildvordergrund ist das KI-Verfahren in der Lage die gesamten Fahrzeuge zu detektieren. Für die unterschiedlichen Objektauflösungen sind die höchsten Aktivierungen für unterschiedliche Fahrzeugbereiche erkennbar.
- Im Bildhintergrund werden dagegen die Fahrzeuge nicht detektiert. In diesem Bildbereich sind auch keine hohen Aktivierungen in der Heatmap zu erkennen, da das verwendete KI-Verfahren im Training die Detektion von Objekten in diesem Auflösungsbereich nicht gelernt hat.
- Die Heatmap-Analyse ermöglicht es Grenzen der Verfahren zu Visualisieren und Bildbereiche für unterschiedliche Objektauflösungen zu identifizieren, die primär zur Entscheidung beigetragen haben.
Beispiele der Toolbox. Die Verfahrensheatmaps können überlagert oder nebeneinander visualisiert werden. Die integrierten „Erklärbaren KI-Verfahren“ lassen sich auf Daten von unterschiedlichen Sensormodalitäten sowie für verschiedene Objektklassen anwenden. Beispiel 1 analysiert ein Verfahren auf visuell optischer Sensorik. Beispiel 2 analysiert ein Verfahren auf einem thermischem IR Bild.