Sprach- und Chatbots sind immer nur so intelligent, wie wir es ihnen durch Training ermöglichen. Einer der wichtigsten Schritte bei der Erstellung virtueller Agenten ist daher das Trainieren des maschinellen Lernmodells. Als Menschen fällt es uns oft schwer, uns in die Denkweise einer Maschine hineinzuversetzen und zu erkennen, wie kompliziert dieser Prozess sein kann.
Trainingsdaten können für die KI auf vielfältige Weise widersprüchlich oder verwirrend sein: Zum Beispiel, wenn ein Nutzer einen Intent erstellt, der sich mit einem bereits existierenden überschneidet. Oder wenn Beispielsätze so gewählt werden, dass die Erkennungsgenauigkeit durch eine Verringerung ihrer Trennschärfe geschwächt wird.
Solche Fehler und Fehlkonfigurationen sind schwer zu erkennen und haben bis in die Spätphase des Produktionsprozesses Zeit, sich tief im System zu verbreiten. Selbst wenn einige dieser Probleme durch sorgfältiges Testen vermieden werden können, besteht die eigentliche Herausforderung in der Beurteilung außerhalb eines Trainingsszenarios, wobei die Intents zeigen müssen, ob sie auch angesichts realer Nutzeräußerungen funktionieren oder nicht.
Der Ansatz vieler gängiger NLUs besteht darin, die Modellgenauigkeit anhand echter Nutzereingaben in der Produktion zu testen – im Wesentlichen also ein Trial-and-Error-Verfahren. Bei Cognigy haben wir eine Technologie entwickelt, die auf Kreuzvalidierung und zum Patent angemeldeten Algorithmen und Verfahren zur genauen Vorhersage der Modellqualität basiert. Im Ergebnis können Nutzer die Auswirkungen einer NLU-Änderung auf die User Experience der Endnutzer vorhersagen, noch bevor die Änderungen tatsächlich umgesetzt werden.
Kurz gesagt: Unser integrierter Intent Analyzer ist ein eingebetteter KI-Service, der es Bot-Designern ermöglicht, Intents in großem Umfang zu managen und Endnutzern mit minimalem Trainingsaufwand eine außergewöhnliche User Experience zu bieten.
Die Abbildung oben zeigt, wie Cognigy.AI alle Probleme markiert, die sich während der Entwicklung einschleichen. Der rote Punkt hebt eine Überschneidung zwischen dem Beispielsatz des Intents PrinterOutofToner und dem Intent PrinterNotWorking hervor.
Das Ziel: Mehr NLU-Genauigkeit mit weniger Trainingsaufwand
Unser Intent Analyzer ist ein eingebetteter Berater, der Entwicklern sofortiges Feedback über die Qualität jedes Beispielsatzes, der Intents oder des gesamten NLU-Modells gibt. So wird sichergestellt, dass die in den Agenten-Flows trainierten Intents effektiv sind.
Nutzer erhalten sofortiges Ampel-Feedback über den Zustand ihres Modells mit einem Score von 0 bis 1. Dieser Score entspricht dem Selbsteinschätzungs-Level von Cognigy.AI, wobei 1 bedeutet, dass die Beispielsätze exakt mit dem Intent übereinstimmen, und 0 bedeutet, dass sie nicht von zufälligem Rauschen zu unterscheiden sind.
Aus der Test-Perspektive betrachtet, spart dies viel Zeit, da nur ein kurzer Blick auf das Intent-Trainingsmenü erforderlich ist, um die Qualität des Modells zu überprüfen – anstatt eine manuelle Konversation mit dem virtuellen Agenten zu führen, um das Verständnis-Level zu beurteilen.
Das Intent-Feedback von Cognigy.AI arbeitet auf drei verschiedenen Ebenen:
Lassen Sie uns einen genaueren Blick darauf werfen, wie intelligentes, umsetzbares und detailliertes Feedback den Entwicklern hilft, die Maschine besser zu verstehen.
1. Gesamtes Intent-Modell
Diese Feedback-Ebene bietet eine ganzheitliche Beurteilung des NLU-Modells inklusive eines allgemeinen Qualitäts-Scores.
Eine grüne Beurteilung der Genauigkeit bedeutet in diesem Zusammenhang, dass das Modell insgesamt konsistent arbeitet und bereit für Nutzertests ist. Eine gelbe oder rote Ampelanzeige für das Gesamtmodell weist hingegen auf kritische Probleme beim Intent-Design hin.
Durch das Feedback-System mit Ampelfarben werden Designer schneller auf optimierungswürdige Bereiche aufmerksam und können Intent-Modelle mit einer niedrigen Bewertung einfacher verbessern, indem sie problematische Intents identifizieren und die Beispielsätze anpassen, die ebenfalls eine niedrige Bewertung erhalten.
2. Individueller Intent
Auf dieser Feedback-Ebene erhält jeder von der NLU trainierte Intent einen Score, der Entwicklern virtueller Agenten Auskunft über die Qualität der Intent-Erkennung im Vergleich zu anderen Intents gibt.
Die Feedback-Anzeige enthält hier zwei sehr wichtige Informationen:
Falls das Intent-Feedback hier Überschneidungen meldet, sollten die im Intent enthaltenen Beispielsätze angepasst werden, um die Genauigkeit zu erhöhen, oder die Gesamtkonfiguration des Intents sollte überarbeitet werden.
3. Individueller Beispielsatz
Auf dieser Ebene wird jedem Beispielsatz ein Score zugewiesen, der angibt, wie nützlich eine Aussage im Kontext des Intent-Modells ist.
Die Feedback-Anzeige für einen individuellen Beispielsatz enthält:
Bessere Bots – auch ohne Trial-and-Error
Der Intent Analyzer ermöglicht es Entwicklern, potenzielle Fehler im Trainingsmodell schnell zu erkennen, zu verhindern und zu beheben, was zu einem genaueren NLU-Verständnis führt. Darüber hinaus erleichtert der mehrstufige Ansatz des Intent-Feedbacks Entwicklern virtueller Agenten den Übergang von der Erkenntnis zum konkreten Handeln – mit dem ultimativen Ziel, die Präzision zu optimieren, Trainingsdaten zu reduzieren und die Dauer des Produktionszyklus zu verkürzen.
Sie möchten mehr erfahren? Dann empfehlen wir Ihnen unser Techninar-Video Cognigy Sessions on NLU, um Ihr Verständnis der NLU-Funktionen von Cognigy.AI noch weiter zu vertiefen.
