Die Rolle von “Explainable AI” (XAI) in vertrauenswürdiger KI-Software

Mit ihrem Vorstoß zur Etablierung ethischer Guidelines für vertrauenswürdige KI (“Ethics guidelines for trustworthy AI”) hat die Europäische Union 2018 einen wichtigen Impuls gesetzt: Die Entwicklung und der Einsatz Künstlicher Intelligenz soll zukünftig unter bestimmten, kontrollierbaren Rahmenbedingungen stattfinden. Neben der Etablierung ethisch-moralischer Grundpfeiler kommt vor allem der Erklärbarkeit von KI-Modellen eine entscheidende Bedeutung zu. Ein Konzept, das in diesem Zusammenhang immer wieder genannt wird, ist “Explainable AI” (XAI) und resultiert aus der sogenannten “Black Box” Problematik.

Ausgetrickst von der eigenen KI: So ticken Black Box KI-Modelle

Wie wichtig nachvollziehbare und transparente KI-Modellierung ist, zeigt sich an folgendem Beispiel: 2017 wurde ein System zur automatischen Erkennung von Tieren auf Basis neuronaler Netze entwickelt. Das Tool wurde mit einem Datenset, bestehend aus vielen Tausend Pferdebildern trainiert und erreichte schnell eine Genauigkeit in der Bilderkennung, die sogar die Entwickler verblüffte. Um das Modell für andere Arten der Bilderkennung weiterzuentwickeln, versuchten sie die komplexen Rechenoperationen der Algorithmen zu entschlüsseln - ohne Erfolg. Erst später entdeckten sie zufällig den eigentlichen Grund für das herausragende Ergebnis: Die KI hatte geschummelt. Es stellte sich heraus, dass gerade auf den Pferdebildern des Trainingsdaten-Sets häufig Copyright-Wasserzeichen enthalten waren. Die KI sprang also nur so hoch, wie sie musste und suchte gezielt nach Wasserzeichen, statt nach Ähnlichkeitsmerkmalen mit Pferden.

Oben genannter Fall ist typisch für “Black Box” Probleme im KI-Bereich. Der Begriff stammt ursprünglich aus dem Behaviorismus und besagt, übertragen auf den KI-Sektor, dass man zwar die Bedingungen und die Resultate bestimmter KI-Modelle messen kann, aber die dazwischenliegenden Vorgänge der Entscheidungsfindung verborgen bleiben. Vor allem bei besonders komplexen Bereichen der KI wie Deep Learning kommen häufig Black-Box-Modelle zum Einsatz.

Explainable AI (XAI) bringt Licht ins Innere der Box

Explainable AI ist ein methodischer Ansatz, die Entscheidungen der KI so transparent, erklärbar und interpretierbar darzulegen, dass ein Mensch sie nachvollziehen kann. Dazu sieht das XAI-Konzept zwei verschiedene Ansätze vor: Entweder müssen Algorithmen von Beginn an und über die gesamte Strecke so programmiert werden, dass sie transparent agieren (“ante-hoc”) oder im Nachhinein erklärbar gemacht werden (“post-hoc”).

Konkret bedeutet das, dass nicht nur die technische Funktionsweise von Algorithmen nachvollziehbar sein muss, sondern vor allem auch die Gewichtung von einzelnen Rechenoperationen im Modell. Erst wenn klar ist, wie und warum ein Algorithmus ein bestimmtes Merkmal zur Entscheidungsfindung stärker oder schwächer gewichtet hat, lässt sich das Gesamtmodell beschreiben und reproduzieren.

Welche Bedeutung erklärbare KI auf die Vertrauens- und Glaubwürdigkeit der gesamten Branche - und damit auch auf die Unternehmen, die zunehmend KI einsetzen - hat, lässt sich anschaulich anhand eines benachbarten Beispiels darstellen: Sagen wir, Sie möchten einen Immobilienkredit aufnehmen, doch Ihre Bank lehnt den Kreditantrag mehrfach ab. Selbstverständlich möchten Sie die Gründe erfahren. Die Entscheidung der Bank basiert In der Regel auf einem komplexen Rating- bzw. Scoring-Modell - Menschen sind hier selten direkt involviert. Erhalten Sie auf Nachfrage allerdings keine nachvollziehbare Erklärung, wieso ihr Antrag abgelehnt wurde, leidet nicht nur die Glaubwürdigkeit der Bank darunter - sie verlieren ggf. sogar das Vertrauen in das gesamte System.

Um einen Vertrauensverlust in Künstliche Intelligenz zu vermeiden, ist die Etablierung von 100 % erklärbaren Modellen sicherlich der Königsweg, wenn auch ab einer gewissen Komplexität nicht immer ohne exorbitanten Aufwand möglich. Die Vorteile von „Explainable AI“ liegen auf der Hand:

• Optimierung von KI-Modellen: Die Nachvollziehbarkeit des KI-Modells ist für seine kontinuierliche Verbesserung elementar.
  
  
• Positive Beeinflussung von Prozessen und Entscheidungen: KI wird überwiegend dazu eingesetzt, datenbasierte Entscheidungen zu treffen oder Prozesse zu verbessern. Die Qualität von Entscheidungen und Prozessoptimierungen hängt direkt mit der Erklärbarkeit von KI-Modellen zusammen.
  
  
• Identifikation von Bias: Im Rahmen der ethischen Beurteilung von KI-Modellen wird viel über diskriminierende KI gesprochen. Diese kann - bewusst oder unbewusst - schon während der Programmierung der Algorithmen entstehen. Es gibt Beispiele, in denen KI-Modelle nach Geschlecht oder Hautfarbe diskriminiert haben. Auch hier hilft Explainable AI, diesen sogenannten “Bias” von Anfang an zu erkennen und zu vermeiden.
  
  
• Herstellung von KI-Standards: Mit dem AIC4-Katalog hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) Handlungskriterien für die Auditierung vertrauenswürdiger KI entwickelt. Ein wichtiger Bestandteil der Auditierung ist die Erklärbarkeit von KI-Modellen. Unternehmen, deren Künstliche Intelligenz AIC4-auditiert ist, erfüllen also Mindeststandards, die bei Endanwendern Vertrauen schaffen. Damit werden bessere Ausgangsbedingungen für eine erhöhte Nutzung von KI-Services etabliert.
  
  

Ante-hoc Lösungsansätze für Explainable AI (XAI): Algorithmen mit Bedacht einsetzen

Bei der sogenannten “ante-hoc” Herangehensweise werden ausschließlich Algorithmen eingesetzt, die erklärbar sind. Im Bereich der Data Science gibt es einige Basismodelle wie Regressionen, Entscheidungsbäume oder Random Forests, die bereits nachvollziehbar konstruiert sind.

Darüber hinaus werden sogenannte “GAMs” (Generalized Additive Models) eingesetzt, um die Gewichtung von Variablen zu identifizieren und auf einer Heatmap darzustellen. Gerade diese Form der Visualisierung macht es Menschen leichter nachzuvollziehen, welchen konkreten Einfluss die einzelnen Variablen auf das Gesamtresultat haben.

Ein weiterer ante-hoc Ansatz ist, hybride Modelle zu entwickeln. Dabei werden kleinere, überschaubare Teilaufgaben von Black-Box-Algorithmen gelöst, weil diese häufig sehr schnell zum Ergebnis kommen. Gleichzeitig versuchen transparent programmierte Algorithmen, die Black-Box zu öffnen und die Modelle interpretierbar zu machen.

Post-hoc Lösungsansätze für Explainable AI (XAI): Mit der Lupe durch den Code

“Post-Hoc” beschreibt eine Vorgehensweise zur nachträglichen Erklärung von Black Box Modellen. Um diesen Prozess zu erleichtern, können bereits während des Trainings Tools eingesetzt werden, die die Vorgänge protokollieren. Je nach Komplexität des Modells kann es jedoch selbst für Experten sehr schwierig sein, diese Protokolle zu verstehen.

Daher werden im Post-hoc-Bereich meist weitere Methoden angewendet, die KI-Modelle nachträglich scannen und versuchen zu quantifizieren. Eine weitverbreitete Methode nennt sich LIME (Local Interpretable Model-Agnostic Explanations). Sie stellt den Anspruch, Black Box Modelle für Menschen erklärbar zu machen, die kein Vorwissen über einzelne eingesetzte Algorithmen haben. Ein anderer Ansatz nennt sich „Kontrafaktische Methode“ und manipuliert gezielt den Input so lange, bis sich der Output ändert. Das ist allerdings hinsichtlich des Aufwands vergleichbar mit Brute Force Methoden im Hacking, bei denen man versucht z. B. ein Passwort dadurch herauszufinden, indem man alle möglichen Kombinationen ausprobiert. Etwas gezielter geht hingegen die LRP-Methode vor, die versucht die Operationen des KI-Modells vom Output her Schicht für Schicht zurückzuverfolgen.

Eine relativ junge, aber sehr vielversprechende Methode nennt sich „Rationalization“. Dabei wird versucht, die Black Box Modelle in eine Infrastruktur einzubetten, die es ermöglicht, die Handlungen in Echtzeit zu erklären - ähnlich einem Mathematiker, der seine Rechenoperationen während des Rechenvorgangs der Öffentlichkeit transparent macht.

Conversational AI als Paradebeispiel für die Relevanz erklärbarer KI-Modelle

In kaum einem anderen Einsatzgebiet ist die Herstellung von Vertrauen in KI wichtiger, als in der direkten Mensch-Maschine-Kommunikation. Conversational AI Anbieter wie Cognigy stellen virtuelle Assistenten in Form von Sprach- und Chatbots für über 400 weltweit agierende Unternehmen bereit, die täglich Millionen vollautomatisierter Konversationen mit Kunden führen. Erklärbare Modelle der Künstlichen Intelligenz sind hier gleich mehrfach entscheidend: Zum einen beeinflusst die Transparenz der Algorithmen das Konversationsdesign. Virtuelle Assistenten werden darauf trainiert, sogenannte Intents, also die Absichten von Kundenanfragen, zuverlässig zu erkennen und die richtige Antwort zurückzugeben. Je besser Konversationsdesigner verstehen, warum die eingesetzten Algorithmen entsprechende Entscheidungen treffen, umso gezielter können sie in den Konversationsfluss eingreifen und Verbesserungen herbeiführen.

Zum anderen können vor allem post-hoc Ansätze dazu eingesetzt werden, die sich laufend selbstoptimierenden Conversational AI Modelle regelmäßig auf Neutralität zu prüfen. Die Vermeidung von Bias ist für das Vertrauen in virtuelle Assistenten entscheidend - schließlich möchte kein Unternehmen seine Kunden in Sprach- oder Chatbots diskriminieren.

Cognigy.AI, eine der weltweit führenden Conversational AI Plattformen hat verschiedene Maßnahmen zur Herstellung von Erklärbarkeit in seinen KI-Modellen eingeführt, dazu zählen unter anderem:

• Ein Low-Code Konversationseditor, mit dem sich nicht nur KI-gesteuerte, virtuelle Agenten entwickeln lassen, sondern diese auch mit dem integrierten Intent-Analyzer auf mögliche Schwachstellen in den Trainingsdaten und/oder im KI-Modell überprüft werden können.
  
  
  
• Sogenannte Snapshots, die den Entwicklungsstand eines virtuellen Agenten exakt dokumentieren. Ähnlich wie bei Backups lassen sich so zwei verschiedene Stadien miteinander vergleichen. So können durch einen Code-Vergleich Veränderungen in den KI-Modellen konkret identifiziert werden.
  
  
• Lexika und Intent-Beispielsätze zur Vermeidung von Ungleichbehandlung durch Sprach- und Chatbots. Das Hauptaugenmerk dieser Maßnahme liegt auf der korrekten Erkennung und Verarbeitung natürlicher Sprache (sog. Natural Language Understanding bzw. Natural Language Processing). Entwickler und Konversationsdesigner werden in die Lage versetzt, potentiell diskriminierende Spracheigenschaften, z. B. Dialekte oder einseitig maskulin verwendete Begriffe, von vornherein so zu klassifizieren, dass sie vom KI-Modell korrekt erkannt und verarbeitet werden.

Aufgrund der intensiven Bestrebungen von Cognigy, KI-Modelle transparent, erklärbar und interpretierbar (“Explainable AI”) zu gestalten, hat der Conversational AI Anbieter die AIC4-Auditierung für seine Customer Service Automation Plattform Cognigy.AI erhalten. Darüber hinaus wurde Cognigy.AI auch als zentrales KI-Steuerzentrum in die Telekom Cloud implementiert und explizit für dieses Setup erneut AIC4-auditiert. Als Vorreiter vertrauenswürdiger KI hat es sich Cognigy zur Aufgabe gemacht, Unternehmen und Endanwender über den aktuellen Stand vertrauenswürdiger KI aufzuklären und aus diesem Grund das Cognigy Trust Center ins Leben gerufen.