Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB
© Fraunhofer IOSB

Erklärbare KI

Warum entscheidet sich die Künstliche Intelligenz für eine bestimmte Lösung? Wir bieten einen Einblick in die Black-Box der KI-Entscheidung.

© Fraunhofer IOSB

KI-Modelle verstehen und nachvollziehen

Warum erklärbare KI wichtig ist

© Pixabay/Samdraft

KI bietet ein großes Potenzial, den Menschen in vielen Bereichen zu unterstützen. Ärzte können mithilfe von KI die beste Therapiemöglichkeit ermitteln, Ineffizienzen werden in der industriellen Fertigung frühzeitig erkannt und mit KI ausgestattete Fahrzeuge können den Mensch von seinen Fahraufgaben entlasten.  

Der Schlüssel zur Anwendung von KI liegt auch im Vertrauen in die KI. Essentiell ist deshalb, dass die KI-basierten Entscheidungen oder Klassifikationen für den Menschen vertrauenswürdig, transparent und nachvollziehbar sind. Am Fraunhofer IOSB entwickeln wir daher nicht nur KI-Verfahren, sondern liefern auch Verfahren, welche die Entscheidungen der KI erklären.

Anwendungsbeispiele sind die Analyse von Patientendaten im Hinblick auf Therapieempfehlungen, die Analyse von Schiffsnavigationsdaten, um bei der Überwachung maritimer Gebiete zu unterstützen oder die Analyse von Cyberdaten, um Hinweise auf Cyberangriffe zu geben.

Künstliche Intelligenz zu entwickeln, zu erklären und deren Entscheidungsmechanismen transparent zu machen, das ist unser Ziel und langjähriges Forschungsthema am Fraunhofer IOSB.

Kurz erklärt: Begriffe der Künstlichen Intelligenz

Alle ausklappen Alle einklappen

Künstliche Intelligenz (KI), englisch Artificial Intelligence (AI), ist ein Teilbereich der Informatik, der sich zum Ziel setzt, Computersysteme mit Intelligenz auszustatten. Dies erfolgt entweder indem man die Denk- und Entscheidungsvorgänge von Menschen nachempfindet, indem man sie in einem Computerprogramm abbildet. Alternativ werden maschinelle Lernverfahren einsetzt.

Maschinelle Lernverfahren werden mittels Trainings- oder Referenzdaten trainiert und lernen dabei basierend auf diesen Daten Entscheidungen zu treffen. Eine bestimmte Form des Maschinellen Lernens ist Deep Learning.

Deep Learning beruht auf neuronalen Netzen und ist sehr populär geworden, da die Technologie sehr mächtig ist. Basierend auf großen Mengen von Referenzdaten kann das Verfahren nahezu eigenständig erlernen, die vorgemachten Entscheidungen nachzubilden. Der Nachteil ist jedoch, dass diese Entscheidungen vom Menschen nicht mehr nachvollzogen werden können. Daher sind Verfahren für die Erklärbarkeit dieser KI-Verfahren erforderlich.

Um die Entscheidungen von Deep Learning-Verfahren nachvollziehen zu können, gibt es globale Erklärverfahren, welche ein grundlegendes Verständnis für das KI-Verfahren erlauben. Im Gegensatz dazu ermöglichen lokale Erklärverfahren, die Entscheidung des Maschinellen Lernverfahrens für genau einen Datensatz nachvollziehen zu können.

KI-Verfahren entwickeln

Sie wollen in Ihrer Datenbasis Zusammenhänge wie z. B. typische Muster oder Anomalien finden?

Wir unterstützen Sie bei der Auswahl des geeigneten KI-Verfahrens, der Aufbereitung Ihrer Datenbasis sowie der Umsetzung der KI.

 

KI-Verfahren verstehen

Neben dem Einsatz verschiedener XAI-Verfahren, um in die Black-Box der KI-Entscheidungen hineinzublicken, bieten wir auch grafische Visualisierungen, welche die Erklärung der KI-Entscheidung visuell begreifbar machen.

KI User Interface Design

Erst ein geeignetes User Interface ermöglicht es, ein KI-Verfahren effizient einsetzen zu können. Mit unserer Erfahrung in den entsprechenden Design-Prozessen können wir das für Ihre Bedarfe geeignete User Interface entwerfen.

 

 

 

Anwendungsbeispiele in unseren Projekten

KI-Verfahren sowie deren Nachvollziehbarkeit und Transparenz erforschen wir für folgende Bereiche: In der Medizin, in der maritimen Überwachung, für autonome Systeme, in der Mobilität und im Datenmanagement.

 

eXplainable Artifical Intelligence (XAI)-Toolbox

Unsere XAI-Toolbox ist auf die KI-Erklärbarkeit ausgelegt. Sie ermöglicht die schnelle Auswertung verschiedener XAI-Methoden für KI-Verfahren. Das heißt, die Toolbox kann z. B. zur Datenanalyse, zum Debugging und zur Erklärung der Vorhersage eines beliebigen Black-Box-Modells eingesetzt werden. Damit wird die Vertrauenswürdigkeit bei KI-Entscheidungen gewährleistet.  

Zur XAI-Toolbox
 

© Elnur Amikishiyev

MED²ICIN

In MED²ICIN entwickelt IAD u. a. ein XAI Interface Design, um die Komplexität der getroffenen KI-Entscheidung sowohl Ärzten als auch Patienten mittels geeigneter User Interfaces gut verständlich zu machen.   

Zu MED²ICIN
 

© Fraunhofer IOSB

Maritime Situationsanalyse

Eine langjährige Forschungsexpertise haben wir in der maritimen Situationserkennung erlangt. Ziel ist u. a. die Unterstützung des Menschen bei maritimen Überwachungsaufgaben. Auf der Basis von AIS- oder Radardaten können wir kritische Situationen erkennen (z. B. Schmuggel), eine Klassifizierung von Schiffstypen vornehmen, Abweichungen von Schiffsrouten erkennen und vieles mehr.

Zur Situationsanalyse

© Fraunhofer IOSB

VALDERRAMA

In diesem deutsch-niederländischen Forschungsvorhaben werden mit KI ausgestattete, autonome Systeme auf drei zentrale Elemente der Vertrauenswürdigkeit untersucht: Verlässlichkeit, Transparenz und Kontrolle der Künstlichen Intelligenz.  

 

CyberProtect

In diesem Projekt ergründen wir die Fragestellung, warum das IT-Sicherheitssystem in Machine-Learning-basierten Produktionsanlagen einen Alarm ausgelöst hat.  

Neben der Erzeugung von Erklärungen entwickeln wir zuverlässige KI-Verfahren, um sogenannte false alerts zu reduzieren.  

Zu CyberProtect
 

© iStock.com/BrianAJackson

Interesse an einer unverbindlichen KI-Beratung?

Sie möchten Ihr KI-Verfahren überprüfen lassen oder nachvollziehen, warum es Ihnen eine bestimmte Empfehlung gibt? 

Wir können Ihnen dabei weiterhelfen.

Schreiben Sie uns!

© Fraunhofer-Gesellschaft

Mehr über KI