Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB KI-Verfahren, inbesondere Verfahren aus dem Bereich des Deep Learnings, liefern in vielen Anwendungsbereichen hervorragende Ergebnisse und werden vielseitig eingesetzt. Sie bringen jedoch den Nachteil mit sich, dass die Ergebnisse der Verfahren oft für den Anwender nicht nachvollziehbar sind. Erklärbare und transparente KI (auch XAI genannt, explainable artificial intelligence) bezeichnen eine Gruppe von Verfahren, die die Entscheidungen und Ergebnisse von KI-Modellen für den Anwender besser interpretierbar bzw. nachvollziehbar machen sollen. Eine Erklärung kann beispielsweise daraus bestehen, dass die Elemente der Eingabedaten markiert werden, die den größten Einfluss auf das Ergebnis eines konkreten KI-Modells hatten.
Die Vorteile von nachvollziehbaren KI-Entscheidungen erhöhen das Vertrauen der Anwender in die KI-Verfahren und ermöglichen eine verbesserte Analyse von Fehlerfällen. XAI ermöglicht zudem einen klareren Einblick in KI-Modelle sowohl für die Anwender*innen, die die Entscheidungen nachvollziehen wollen, als auch für Entwickler*innen, die KI-Modelle in ihre Anwendung einbetten und diese parametrisieren wollen. Auch für Wissenschaftler*innen, die KI-Modelle entwickeln und verbessern wollen, bietet XAI wertvolle Informationen.
Das Querschnittsthema XAI wird am Fraunhofer IOSB über eine große Bandbreite von KI-Anwendungen hinweg weiterentwickelt.