Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB Bei heutigen KI-Anwendungen wissen Entwickler und Anwender bzw. die von den KI-Ergebnissen betroffenen Personen oft nicht, warum und wie bestimmte Ergebnisse zustande gekommen sind. Wenn eine KI-Anwendung ein falsches Ergebnis liefert, ist zudem häufig unklar, wie dies in Zukunft vermieden werden kann. Diese Problematik betrifft insbesondere, aber nicht ausschließlich, Verfahren des maschinellen Lernens, wie z.B. Deep Learning.
Erklärbare und transparente KI (auch XAI genannt, explainable artificial intelligence) steht für eine Gruppe von Verfahren, die Abhilfe schaffen kann. Ziel ist, die von KI-Anwendungen gelieferten Ergebnisse nachvollziehbar zu machen bzw. ggf. auch die Funktionsweise der KI selbst zu verstehen.
Die Erklärbarkeit ist wesentlich für die Akzeptanz sowie den verantwortungsvollen und rechtskonformen Einsatz von KI-Anwendungen, einschließlich der Einhaltung ethischer Grundprinzipien und der Sicherstellung ihrer Vertrauenswürdigkeit. Nicht zuletzt stellt der EU AI Act für bestimmte KI-Anwendungen Anforderungen an ihre Vertrauenswürdigkeit. Das Verständnis der KI-Anwendungen ermöglicht darüber hinaus eine zielgerichtete Optimierung und Anpassung der zugrunde liegenden Modelle und Verfahren.
Am Fraunhofer IOSB forschen wir bereits seit vielen Jahren nicht nur an unterschiedlichen KI-Verfahren, sondern auch an XAI-Verfahren und -Ansätzen, die die Entscheidungen der KI erklären. Indem verschiedene Abteilungen ihre jeweiligen Verfahren, Expertisen und Anwendungskontexte einbringen, können wir die querschnittliche Natur des Themas erklärbare KI umfassend und ganzheitlich adressieren sowie gezielt auf spezifische Kundenanforderungen eingehen.