Um KI-Modelle in einer auf Sicherheit und Qualität bedachten Fertigung für die Aerospace-Branche einsetzen zu können, müssen diese Modelle nachvollziehbar bzw. erklärbar gemacht werden. Im letzten Jahrzehnt wurde eine breite Palette von Ansätzen definiert, um KI-Modelle für den Menschen verständlich zu machen. Diese Ansätze sind vielversprechend, haben aber zwei Nachteile, die sie für den industriellen Einsatz unattraktiv machen. Erstens sind sie oft zu komplex, um sie zu verstehen und zweitens, was noch wichtiger ist, berücksichtigen sie nicht die unterschiedlichen Präferenzen, Fachkenntnisse und Interessen der Benutzer (engl. to reason about a model). Je nach Aufgabe und Fachkenntnis möchte der Benutzer beispielsweise die Eingaben, die interne Modellstruktur, die Modellausgaben oder den Trainingsalgorithmus verstehen. Diese nutzerzentrierten Interessen stellen unterschiedliche, teils gegensätzliche, Ansprüche an eine Interaktionsschnittstelle. In den bisherigen Forschungsergebnissen wurden die nutzerzentrierten Interessen allerdings nicht ausreichend berücksichtigt. Hier setzen wir mit Projekt BrAIN an. Wir wollen nicht nur die Ergebnisse des KISystems nachvollziehbar machen, sondern möchten einen Schritt weitergehen und die Interaktion/Visualisierung an den jeweiligen Nutzer (z.B. Maschinenbediener oder Technologe in der Prozessauslegung) und dessen Aufgaben anpassen sowie die Interaktion in das KI-System selbst einbinden. Dies soll den Nutzern einerseits ermöglichen sich das System und seine Entscheidungen zu erklären, andererseits erhält das System Feedback, von dem es lernen kann. Dazu wird ein Rahmen definiert, der die speziellen Ziele des Benutzers mit verschiedenen xAI-Techniken (z. B. LIME, feature perturbations, LRP) verbindet. Das Resultat soll ein interaktives xAI-Tool sein, das den Expert-User in der Loop hält und ihm ermöglicht mit dem System zu interagieren, indem er z. B. Vorschläge des Systems annimmt oder ablehnt und diese Entscheidungen begründet.

Zunächst wird dazu identifiziert, was genau der Benutzer verstehen möchte bzw. sollte, z. B. endgültige Modellausgabe oder nur Teilergebnisse. Diese Information kann mit Hilfe einer Feedback-Schnittstelle geholt werden. Weiters kann der Benutzer die Schnittstelle verwenden um (i) explorative Fragen zu stellen deren Antwort zum Verständnis des KI-Modells beitragen kann (was, wie und warum), oder (ii) Rückmeldungen oder Vorschläge an das KI-System zu senden. Das letztere veranlasst, dass sich das System laufend verbessert. Als nächstes werden eine Reihe von individuellen Argumentationsmethoden und Erklärungstypen (z. B. Visualisierungen) definiert, die den Zielen, Präferenzen und Bedürfnissen des Benutzers am besten gerecht werden können.

Auf die Gestaltung dieser Feedback-Schnittstelle ist dabei besonderer Wert zu legen. Hier entscheidet sich, ob der Benutzer dieses Tool annehmen wird und ob es deren Anforderungen entspricht. Es bedarf einer genauen Erhebung der Benutzertypen und derer Bedürfnisse, um eine benutzerfreundliche Schnittstelle schaffen zu können. Für diese Erhebung binden wir Experten der Virtual Vehicle Forschungs GmbH (ViV) (Drittleister) ein, die einiges an Erfahrung in der Gestaltung von benutzerfreundlichen Schnittstellen mitbringen. Die Experten des ViV werden vor Ort bei BSTG die Anforderungen der Benutzer und die unterschiedlichen Benutzertypen erheben und Empfehlungen für die Ausgestaltung der Schnittstelle geben sowie die laufende Entwicklung beratend begleiten.

Ein interaktives xAI-Tool mit Expert in the Loop, das sich an die jeweiligen Anforderungen der Benutzer anpasst und mit einem KI-System interagiert, wäre eine große Innovation. Ein solches Tool könnte die industrielle Nutzung und Transparenz von KI-Systemen fördern und maßgeblich zur Verbreitung von KI-basierten Optimierungsalgorithmen beitragen.

Eine Herausforderung bei diesem Vorhaben stellt die Definition von Metriken dar, die bestimmen sollen, was die beste Erklärung für einen bestimmten Benutzer ist. Das Wissen und die Präferenzen der Benutzer können sich im Laufe der Zeit ändern, wodurch die Erklärungen dynamisch an das neue Benutzerprofil angepasst werden müssen. Eine weitere Herausforderung stellt das Herausholen des Benutzer Feedbacks/Inputs dar. Benutzer sind nicht immer bereit ein Feedback zu geben, obwohl dadurch ihre Chancen steigen, Dienste und Informationen zu erhalten, die ihre Wünsche und Bedürfnisse besser ansprechen. Dies stellt uns vor der Herausforderung, Methoden zu definieren, die die Bereitschaft des Benutzers zur direkten Interaktion mit dem KI-System erhöhen. Dabei müssen die sozialen, psychologischen oder kognitiven Faktoren des Menschen besonders beachtet werden.