Was ist Retrieval Augmented Generation? RAG in KI-Systemen

KI-Agenten verändern das Contact Center grundlegend. Sie ermöglichen eine schnellere Problemlösung, senken Betriebskosten und verbessern die Servicequalität enorm. Damit KI-Agenten zuverlässig arbeiten können, brauchen sie Zugriff auf aktuelle und korrekte Informationen. Genau hier kommt Retrieval-Augmented Generation (RAG) ins Spiel.

RAG ist ein KI-Framework, das die Informationssuche mit Large Language Models (LLMs) kombiniert. Statt sich ausschließlich auf statische Trainingsdaten zu verlassen, kann ein RAG-System relevante Informationen aus freigegebenen Wissensquellen abrufen, bevor es eine Antwort generiert.

In KI-optimierten Contact Centern nutzen KI-Agenten Generative AI und RAG, um Antworten anhand verlässlicher Daten zu geben. Dazu gehören beispielsweise interne Dokumente, FAQs, PDFs, Webinhalte und strukturierte Datenbanken. Die Knowledge AI von NICE Cognigy gründet sich auf ein RAG-Framework und ermöglicht KI-Agenten und Mitarbeitenden, in Echtzeit verifizierte Informationen abzurufen.

Dadurch, dass LLM nicht nur antworten, sondern gezielt auf relevante Unternehmensinformationen zugreifen, lassen sie sich zuverlässig und kontrolliert im Unternehmensumfeld einsetzen. Das ist die Grundlage einer erfolgreichen KI Contact Center Automatisierung.

Das Wichtigste auf einen Blick

Mit Retrieval-Augmented Generation (RAG) geben KI-Agenten Antworten auf Grundlage verifizierter Unternehmensinformation, statt ausschließlich statische Trainingsdaten heranzuziehen. Dies verhindert auch sog. „Halluzinationen".
Der RAG-Prozess folgt einem klaren Ablauf: Zunächst werden relevante Daten eingespeist sog. „Chunking", darauf folgen Embeddings und Indexierung, anschließend Retrieval, Augmentation und Generation.
RAG lässt sich einfacher aktuell halten. Bei der sog. „Fine-Tuning"-Methode müssen bei Preisänderungen, neuen Richtlinien oder aktualisierten Produktinformationen alle Quellen entsprechend aktualisiert werden. Damit wäre also ein neuer Trainingsschritt nötig, damit das Modell die Änderungen berücksichtigt. Dies funktioniert bei RAG automatisch.
RAG beeinflusst direkt Contact Center KPIs - beispielsweise durch kürzere Bearbeitungszeiten, schnellere Antworten, weniger Weiterleitungen zwischen Mitarbeitenden und eine durchweg höhere Kundenzufriedenheit.

Was ist Retrieval-Augmented Generation?

Retrieval-Augmented Generation (RAG) verbindet aktuelle Informationen mit LLMs. Anstelle Antworten auf Grundlage der ehemaligen Trainingsdaten zu treffen, sucht ein RAG-System ständig nach aktuellen Informationen und beruft sich dabei auf freigegebene, verifizierte Quellen. Anschließend wird eine hilfreiche Antwort mithilfe von Generative AI formuliert.

RAG hat zwei Anwendungsschritte:

Retrieval: Das System durchsucht angebundene Quellen – beispielsweise interne Dokumente, FAQs, Richtlinien, CRM-Systeme oder andere Unternehmensinhalte und identifiziert Informationen, die für eine Anfrage relevant sind.
Generation: Das LLM nutzt die gefundenen Informationen, um eine natürliche, dialogorientierte Antwort zu formulieren, die sich auf verifizierte Unternehmensdaten stützt.

KI-Agenten können dadurch Antworten liefern die faktisch korrekt sind und natürlich klingen. Gerade in Contact Centern, die KI einsetzen, ist entscheidend, dass die Qualität der Kundenerlebnisse einheitlich ist und Interaktionen compliant sind.

Das Konzept RAG ist ein Resultat ausgiebiger LLM-Forschung und dient der Verbesserung ihrer Zuverlässigkeit. Ziel des Forschungsvorhabens war die Reduzierung von Halluzinationen [1] und die Überwindung von statischen Daten hin zu sich ständig aktualisierenden Quellen. Mit steigenden Kundenerwartungen und der Weiterentwicklung von Contact Centern gewinnt RAG bei großen Unternehmen zunehmend an Bedeutung. Denn vor allem dort müssen KI-Agenten eine Vielzahl an aktuellen korrekten Antworten liefern.

RAG und die Grenzen klassischer LLM

LLM eignen sich hervorragend zur Generierung natürlich wirkender Antworten. In Contact Centern ermöglichen sie es KI-Agenten, Anliegen zu verstehen, Informationen zusammenzufassen und verständliche Antworten zu formulieren.

Für Unternehmen jedoch bringen klassische LLMs allein einige Einschränkungen mit sich.

Statische Trainingsdaten - veraltetes Wissen

LLMs werden zu einem bestimmten Zeitpunkt mit großen Datenmengen trainiert. Ändern sich danach Preise, Produkte oder Unternehmensrichtlinien, aktualisiert sich ihr Wissen nicht automatisch.

Im Contact Center kann veraltetes Wissen schnell zu falschen Antworten und einer schlechten Customer Experience führen. Kund:innen müssen erneut nachfragen oder wenden sich frustriert an einen Mitarbeitenden. Die durchschnittliche Bearbeitungszeit steigt und das Serviceteam hat am Ende mehr Arbeit. Das führt also genau zum Gegenteil dessen, was mit dem Einsatz eines KI-Agenten erreicht werden soll.

Fehlendes unternehmens- und branchenspezifisches Wissen

Generische LLMs werden mit einer Menge öffentlich verfügbarer Daten trainiert. Interne Richtlinien, Produktunterlagen, Prozesse, Kundendaten oder die eigene Fachsprache kennen sie deshalb nicht automatisch.

Ohne Zugriff auf internes Unternehmenswissen können KI-Agenten nicht diejenigen Antworten liefern, die überzeugen und im betreffenden Kontext erforderlich sind.

Halluzinationen

Klassische LLM generieren Antworten, indem sie anhand einer großen Menge an Trainingsdaten das für den aktuellen Fall wahrscheinlichste Wort vorhersagen. Sie prüfen nicht gezielt, ob eine Aussage tatsächlich durch Fakten belegt ist.

Fehlen dem Modell Informationen, kann es deshalb plausibel klingende, falsche Aussagen erzeugen. Gerade in regulierten Branchen wie Banking und Finance kann das zu Compliance-Risiken, Reputationsschäden und zusätzlichem „Wiedergutmachungs"-Aufwand führen, etwa durch wiederholte Kundenkontakte oder Weiterleitungen an Servicepersonal

Mangelnde Transparenz

Ein LLM zeigt nicht von sich aus, welche Quelle es zur Anwort herangezogen hat. Für Unternehmen ist jedoch genau die Nachvollziehbarkeit von Information entscheidend. Das gilt insbesondere dann, wenn interne Vorgaben eingehalten werden müssen oder gesetzliche Einschränkungen bestehen.

Greift ein KI-Agent auf freigegebene Dokumente und Datenquellen zurück, lässt sich wesentlich besser kontrollieren, auf welcher Grundlage eine Antwort entstanden ist.

Genau hier liegt eine der wichtigsten Grenzen eines klassischen LLM: Gut formulierte Antworten allein reichen für den professionellen Einsatz von Conversational AI nicht aus.

KI-Agenten müssen zusätzlich auf verlässliche und aktuelle Unternehmensinformationen zugreifen können. Retrieval-Augmented Generation schafft dafür die technische Grundlage.

Wie funktioniert RAG?

RAG sorgt dafür, dass ein KI-Agent eine Frage nicht allein mit dem Wissen beantwortet, das im LLM gespeichert ist. Stattdessen sucht das System zunächst nach passenden Informationen in freigegebenen Unternehmensquellen und stellt diese dem Sprachmodell für die Antwort zur Verfügung.

Der Ablauf besteht im Wesentlichen aus vier Schritten.

1. Unternehmenswissen einspeisen und aufbereiten

Bevor ein KI-Agent Informationen finden kann, müssen die relevanten Quellen zunächst in das System eingebunden und für die Suche aufbereitet werden.

Dazu gehören beispielsweise:

PDFs und Handbücher,
FAQs und Hilfeartikel,
Webseiten,
Richtlinien und interne Dokumentationen,
Einträge aus CRM-Systemen,
Produkt- oder Preisinformationen.

Die Dokumente werden anschließend in kleinere, inhaltlich sinnvolle Abschnitte aufgeteilt. Das ist wichtig, weil das System später nicht jedes Mal ein komplettes Handbuch durchsuchen soll, sondern möglichst genau den Abschnitt finden muss, der zur jeweiligen Frage passt.

Diese Textabschnitte werden anschließend mathematisch abgebildet. Dafür kommen sogenannte Embeddings zum Einsatz. Sie stellen die Bedeutung eines Textes als Zahlenwerte dar. Dadurch kann das System später erkennen, welche Inhalte inhaltlich zu einer Frage passen, selbst wenn dort nicht exakt dieselben Wörter verwendet werden.

Die aufbereiteten Informationen werden gespeichert und so indexiert, dass sie schnell durchsucht werden können.

Aus einer Sammlung von Dokumenten entsteht auf diese Weise eine Database, die von KI-Agenten gezielt durchsucht werden kann.

2. Die passenden Informationen finden

Stellt eine Kundin eine Frage, beginnt der KI-Agent nicht sofort mit der Formulierung einer Antwort.

Stattdessen:

Die Anfrage wird in ein Embedding umgewandelt.
Das System führt eine semantische Suche durch. In manchen Fällen kommt auch eine hybride Suche zum Einsatz, die semantische- und Keyword-Suchen kombiniert.
Anschließend werden die relevanten Knowledge Chunks aus der indexierten Datenbank abgerufen.

So greift der KI-Agent bereits vor der Antwort auf freigegebene Unternehmensdaten zurück, die für die jeweilige Anfrage relevant sind. Das ist entscheidend, um Halluzinationen zu reduzieren und sicherzustellen, dass beispielsweise aktuelle Richtlinien korrekt berücksichtigt werden.

Augmentation: Anfrage und Kontext zusammenführen

Sobald die relevanten Informationen gefunden wurden, ergänzt das System die ursprüngliche Anfrage um dieses Wissen.

Das bedeutet:

Die abgerufenen Informationen werden dem Prompt hinzugefügt, den das LLM erhält.
Dem KI-Agenten stehen damit sowohl die Frage der Kundin als auch die dazu passenden, verifizierten Unternehmensdaten als Kontext zur Verfügung.

Statt sich allein auf allgemeine Muster aus Trainingsdaten zu verlassen, arbeitet das LLM nun mit aktuellen Informationen aus verlässlichen Unternehmensquellen. Genau dieser Schritt macht aus einem eigenständig arbeitenden LLM ein KI-System, das sich für den Einsatz in Unternehmen eignet.

Generation: Die finale Antwort erstellen

Auf Grundlage des ergänzten Kontexts generiert das LLM anschließend eine natürliche, dialogorientierte Antwort.

Die Antwort ist:

flüssig und natürlich formuliert,
auf verifizierten Dokumenten aufgebaut,
und auf die Richtlinien und Terminologie des Unternehmens abgestimmt.

So können KI-Agenten auch bei großen Anfragevolumen präzise Antworten liefern und gleichzeitig eine natürliche Gesprächsführung beibehalten.

Eine einfache Analogie: RAG als Research Assistant

Man kann sich RAG so vorstellen, als hätte der KI-Agent einen eigenen Research Assistant.

Statt eine Frage ausschließlich aus dem Gedächtnis zu beantworten:

lässt der KI-Agent zunächst die relevanten Dokumente heraussuchen,
prüft die darin enthaltenen Informationen,
und formuliert anschließend auf Grundlage der verifizierten Inhalte eine verständliche Antwort.

Ohne RAG antwortet die KI aus dem „Gedächtnis". Mit RAG hat sie die passenden Unterlagen beim Antworten direkt zur Hand.

Genau dieser Unterschied macht RAG für Contact Center so attraktiv.

Die wichtigsten Komponenten eines RAG-Systems

Damit RAG für einen KI-Agenten zuverlässig funktioniert, müssen mehrere zentrale Komponenten zusammenspielen. Jede davon übernimmt eine bestimmte Aufgabe und trägt dazu bei, dass der KI-Agent möglichst passende und korrekte Antworten liefert.

Zu den wichtigsten Komponenten eines RAG-Systems gehören:

Knowledge Base: Externe Datenquellen

Die Knowledge Base bildet die Grundlage jeder RAG-Architektur.

Sie kann strukturierte und unstrukturierte Unternehmensinformationen enthalten, beispielsweise:

interne Dokumente und Richtlinien,
FAQs, Help-Center-Artikel und Webseiten,
Daten aus CRM-Integrationen,
Produktkataloge und Preistabellen.

Je besser die Qualität und Struktur der Knowledge Base und je sorgfältiger die enthaltenen Informationen gepflegt werden, desto zuverlässiger kann auch der KI-Agent arbeiten.

Retriever: Die Suchkomponente

Der Retriever ist dafür zuständig, die relevanten Informationen zu einer Anfrage zu finden.

Stellt eine Kundin eine Frage, übernimmt der Retriever folgende Schritte:

Er wandelt die Anfrage in ein Embedding um.
Er führt semantische und hybride Suchen durch.
Er identifiziert die relevanten Knowledge Chunks.

So wird sichergestellt, dass der KI-Agent auf freigegebene Unternehmensdaten zurückgreift, anstatt sich ausschließlich auf das Wissen aus dem Training des LLMs zu verlassen. Das hilft insbesondere dabei, Halluzinationen zu reduzieren.

Integration Layer: Prompt Engineering und Orchestrierung

Der Integration Layer steuert, wie die gefundenen Informationen an das LLM weitergegeben werden.

Dazu gehören unter anderem:

Prompt Engineering, um festzulegen, wie Informationen für das LLM aufbereitet werden,
das Einbinden der gefundenen Informationen in die ursprüngliche Anfrage,
Workflow-Logik, die bestimmt, wann ein Retrieval ausgelöst wird,
Eskalationsregeln für sensible oder regulierte Anfragen.

Diese Ebene legt damit wichtige Grenzen für das Verhalten des KI-Agenten fest. Sie hilft dabei, spekulative Antworten zu vermeiden und sicherzustellen, dass die Ergebnisse mit den jeweiligen Compliance-Anforderungen übereinstimmen.

Generator: Das LLM

Der Generator ist das LLM, das die eigentliche Antwort erstellt. Sobald die relevanten Informationen abgerufen und in den Kontext eingebunden wurden, kann das LLM:

Unternehmensinformationen zu einer natürlichen, dialogorientierten Antwort zusammenführen,
Tonalität und Verständlichkeit beibehalten,
die Antwort an das konkrete Anliegen der Kundin anpassen.

In KI-gestützten Contact Centern macht der Generator aus strukturiertem Unternehmenswissen eine natürliche Konversation.

Optionale Komponenten: Ranker und Output Handler

RAG-Systeme für Unternehmen enthalten häufig zusätzliche Komponenten, die mehr Kontrolle über die Ergebnisse ermöglichen.

Ranker

Ein Ranker ordnet die gefundenen Ergebnisse anhand ihrer Relevanz neu. Dadurch kann genauer bestimmt werden, welche Informationen das LLM für die finale Antwort erhält.

Output Handler / Guardrails

Diese Komponente prüft die generierte Antwort, bevor sie ausgegeben wird.

Dazu können gehören:

Compliance-Prüfungen,
die Prüfung von Richtlinien,
Filter für problematische Inhalte,
Eskalationstrigger,
Vorgaben für die Formatierung.

Gerade in regulierten Bereichen sind solche Schutzmechanismen wichtig, um Vertrauen und Nachvollziehbarkeit sicherzustellen.

Vorteile von RAG

RAG ist mehr als eine rein technische Erweiterung. Ohne RAG ist bei Chatbots und KI-Agenten die Wahrscheinlichkeit höher, dass sie falsche Informationen ausgeben oder halluzinieren. Im schlimmsten Fall entsteht dadurch zusätzliche Arbeit für genau das Serviceteam, das die Technologie eigentlich entlasten sollte.

Die wichtigsten Vorteile im Überblick:

Zugriff auf fach- und unternehmensspezifische Informationen: RAG ist nicht ausschließlich auf statische Trainingsdaten angewiesen. KI-Agenten können aktuelle Informationen aus freigegebenen Unternehmensquellen abrufen und beispielsweise auf aktuelle Preise, Richtlinien oder – bei entsprechender Integration – CRM-Daten zugreifen.
Weniger Halluzinationen: Statt Antworten ausschließlich auf Grundlage erlernter Sprachmuster zu generieren, ruft der KI-Agent zunächst verifiziertes Wissen ab. Dadurch muss das LLM fehlende Informationen seltener selbst ergänzen und das Risiko falscher Aussagen sinkt.
Mehr Transparenz und Vertrauen durch nachvollziehbare Quellen: Bei RAG lässt sich nachvollziehen, auf welcher Quelle eine Antwort beruht. Unternehmen können dadurch besser prüfen, woher eine Information stammt und ob die Antwort auf freigegebenen Inhalten basiert.
Kostengünstiger als erneutes Training oder Fine-Tuning: Das erneute Training oder Fine-Tuning eines LLMs kann zeit- und kostenintensiv sein. Mit RAG können Unternehmen die Knowledge Base ganz unkompliziert aktualisieren. Ändern sich beispielsweise Preise oder Richtlinien, wird die entsprechende Quelle angepasst und nicht das ganze LLM neu trainiert. Das reduziert den technischen Aufwand und ermöglicht schnellere Aktualisierungen.
Mehr Kontrolle und Flexibilität: Unternehmen können festlegen, auf welche Ressourcen ein KI-Agent zugreifen darf, wann Retrieval eingesetzt wird und nach welchen Vorgaben Antworten aufgebaut werden.

Anwendungsfälle für RAG

KI-Agenten stellen mithilfe von RAG auch in komplexen Unternehmensumgebungen aktuelle und präzise Informationen bereit. Die folgenden Beispiele zeigen, wie RAG Risiken reduzieren und gleichzeitig einen zuverlässigen Service bei großem Anfragevolumen ermöglichen kann.

Customer Support Chatbots

In Kundenservice-Umgebungen mit hohen Anfragevolumen müssen KI-Agenten Tausende oder teilweise sogar Millionen von Interaktionen bearbeiten, ohne dass die Qualität ihrer Antworten darunter leiden darf.

Škoda Auto setzt KI-Agenten ein, um große Mengen an Kundenanfragen zu bearbeiten. Indem die KI-Agenten vor der Antwort auf freigegebenes Wissen und Support-Dokumentationen zugreifen, können sie über verschiedene Märkte und Kanäle hinweg einheitliche Informationen liefern.

In der Praxis ermöglicht RAG Support beispielsweise:

aktuelle Produkt- oder Serviceinformationen abzurufen,
Richtlinien und Garantiebedingungen zu berücksichtigen,
präzise Hilfestellung bei der Fehlerbehebung zu geben,
Eskalationen zu reduzieren, die durch falsche Antworten entstehen.

Healthcare und regulierte Branchen

In sensiblen Bereichen wie dem Gesundheitswesen ist die Genauigkeit von Informationen unverzichtbar. KI-Agenten müssen dort auf freigegebene Hilfeartikel und Dokumente zurückgreifen können, anstatt Antworten allein aus allgemeinem LLM-Wissen abzuleiten.

Personify Health nutzt KI-Agenten, um geprüfte Support-Inhalte abzurufen. Durch die Anbindung von KI-Agenten an strukturierte Knowledge Bases können Unternehmen dafür sorgen, dass die Kundschaft Informationen erhält, die mit den geltenden Richtlinien und Vorgaben übereinstimmt.

Agent Copilot und Echtzeit-Support

RAG unterstützt nicht nur Kund:innen, sondern steigert auch die Produktivität der Mitarbeitenden im Contact Center.

Bosch setzte Agent Copilots ein, um Mitarbeitende während Kundengesprächen in Echtzeit zu unterstützen. Mitarbeitende müssen nicht länger manuell mehrere Systeme durchsuchen, sondern erhalten wichtige Inhalte während der Kundeninteraktion direkt vom KI-Agenten – so wird die Bearbeitungszeit nicht unnötig verlängert und Kund:innen müssen nicht warten.

CRM-Integrationen

In der Reisebranche, im Handel und in anderen kundenorientierten Branchen benötigen KI-Agenten für viele Anfragen Zugriff auf CRM-Daten, Rechnungen, Buchungen oder Kontoinformationen.

Direct Travel setzt beispielsweise KI-Agenten ein, die dank RAG unter anderem Buchungsdetails oder Rechnungen abrufen können, bevor sie eine Antwort generieren.

Das Resultat ist: unmittelbare Bearbeitung von Anfragen, weniger Weiterleitungen an Servicepersonal und geringere Belastung für Mitarbeitende im Contact Center.

Herausforderungen von RAG

RAG kann die Zuverlässigkeit von KI-Agenten deutlich verbessern, bringt aber auch einige Herausforderungen mit sich. Eine sorgfältig durchgeführte Implementierung kann viele dieser Risiken vorbeugen. Einige Punkte gilt es für Unternehmen dennoch zu berücksichtigen.

RAG verhindert nicht alle Halluzinationen

RAG reduziert das Vorkommen von KI-Halluzinationen, zumal Antworten auf zuvor abgerufenem Wissen beruhen. Die finale Antwort wird jedoch weiterhin von einem LLM generiert.

Sind Prompts schlecht aufgebaut oder werden irrelevante Inhalte abgerufen, kann das LLM trotzdem falsche oder irreführende Antworten erzeugen.

Risiko irreführender oder aus dem Zusammenhang gerissener Informationen

Ein RAG-System kann nur so gut sein wie die Informationen, die es abruft.

Findet der Retriever veraltete, unvollständige oder unzureichend organisierte Inhalte, kann der KI-Agent eine Antwort generieren, die zwar auf einer tatsächlichen Quelle beruht, im jeweiligen Zusammenhang aber trotzdem falsch ist.

Eine saubere Indexierung, ein gutes Ranking und klare Prozesse für die Pflege aller Informationsquellen sind deshalb unerlässlich.

Datenschutz und Datensicherheit

RAG-Systeme werden häufig mit internen Dokumenten, CRM-Systemen und sensiblen Unternehmensdaten verbunden.

Ohne strenge Zugriffsrechte und klar definierte Berechtigungen besteht die Gefahr, dass KI-Agenten Informationen abrufen oder ausgeben, die nicht für die jeweilige Person bestimmt sind.

Besonders in regulierten Branchen muss deshalb genau geregelt werden, auf welche Daten zugegriffen werden darf, um Kundendaten zu schützen und Compliance-Anforderungen gerecht zu werden.

Laufende Pflege und Aktualisierung der Informationsquellen

RAG ist auf eine gut gepflegte Knowledge Base angewiesen.

Sind interne Dokumente veraltet oder widersprüchlich, kann das System entsprechend falsche Informationen abrufen. Unternehmen müssen ihre Quellen deshalb regelmäßig prüfen, aktualisieren und organisieren, damit KI-Agenten auch dann zuverlässig bleiben, wenn sich Produkte, Richtlinien oder Services verändern.

RAG vs. Fine-Tuning und Semantic Search

Je nach Anwendungsfall kommen unterschiedliche Ansätze infrage. Deshalb lohnt sich ein Blick darauf, wie sich RAG von Fine-Tuning und einer reinen semantischen Suche unterscheidet.

RAG vs. Fine-Tuning

Fine-Tuning bedeutet, dass ein LLM mit zusätzlichen, auf einen bestimmten Anwendungsbereich zugeschnittenen Daten weiterentwickelt wird. Bestimmte Begriffe, Prozesse oder eine gewünschte Tonalität können damit in das LLM integriert werden.

Für spezialisierte Anwendungsfälle kann das sinnvoll sein. Fine-Tuning bringt jedoch einige Einschränkungen mit sich:

Änderungen können weitere Trainingsdurchläufe erforderlich machen.
Das Verfahren kann teuer und ressourcenintensiv sein.
Die im Training vermittelten Informationen sind fest im LLM verankert. Eine Aktualisierung ist wesentlich aufwändiger.
Informationen veralten weiterhin.

Bei RAG muss das LLM dagegen nicht jedes Mal aufwändig geupdated werden, wenn sich Preise oder Richtlinien ändern. Stattdessen wird die Knowledge Base automatisch aktualisiert. Der KI-Agent kann direkt auf die neuen Informationen zugreifen.

RAG vs. reine Semantic Search

Semantic Search findet relevante Dokumente oder Textstellen anhand ihrer Bedeutung und nicht nur anhand identischer Keywords. Sie generiert jedoch keine eigenen natürlichen Antworten.

Bei einer reinen Semantic Search:

findet das System relevante Informationen,
liest und interpretiert ein User oder Mitarbeitender diese Informationen,
wird keine automatische Antwort generiert.

RAG betreibt semantische Suchen und generiert passende Antworten. Das System findet zunächst die relevanten Inhalte und übergibt sie anschließend an ein LLM. Dieses formuliert daraus eine natürliche Antwort, die auf den gefundenen Informationen aufbaut.

Best Practices für die Implementierung von RAG

Damit RAG langfristig zuverlässig funktioniert, braucht es klare Strukturen und Regeln. Die folgenden Best Practices helfen dabei, die Genauigkeit und Leistungsfähigkeit des Systems dauerhaft zu sichern.

Daten vorbereiten, ordnen und in Chunks unterteilen

Ein RAG-System kann nur so gut sein wie das Wissen, auf das es zugreift.

Vor der Dateneinspeisung sollten Unternehmen deshalb:

doppelte oder veraltete Dokumente entfernen,
Begriffe über verschiedene Abteilungen hinweg vereinheitlichen,
sicherstellen, dass Richtlinien und Preise den aktuellen Geschäftsregeln entsprechen.

Beim Aufbau von Knowledge Sources sollten Inhalte außerdem in sinnvolle Knowledge Chunks unterteilt werden, statt große, unstrukturierte Dokumente als Ganzes zu verwenden.

Gut gewählte Chunks erhöhen die Genauigkeit beim Retrieval und reduzieren das Risiko, dass irrelevante Informationen in den Prompt gelangen.

Die passende Retrieval-Methode wählen

Nicht jede Retrieval-Methode eignet sich für jeden Anwendungsfall gleichermaßen.

Semantische Suche eignet sich besonders für Anfragen, bei denen für die Bedeutung nicht die exakte Wortwahl maßgeblich ist.
Hybride Suche kombiniert semantische und Keyword-Suchen und kann die Genauigkeit besonders bei technischen Themen oder Richtlinien verbessern.
Ranking-Mechanismen können die gefundenen Ergebnisse zusätzlich nach Relevanz sortieren.

In großen Contact Centern bietet die hybride Suche häufig eine gute Balance, insbesondere wenn Kund:innen konkrete Richtlinienbegriffe, Rechnungsnummern oder technische Details nennen.

Die passenden Modelle für Embeddings und Generierung

RAG braucht zwei unterschiedliche Modellearten, um zu funktionieren:

ein Embedding Model, das Knowledge Chunks und Anfragen in Vektoren umwandelt,
ein Generative Model, das daraus eine natürliche Antwort erstellt.

Bei der Auswahl eines Embedding Models spielen unter anderem Leistung, Latenz und Speicherbedarf eine Rolle. Größere Embeddings können Zusammenhänge genauer abbilden, gleichzeitig aber Infrastrukturkosten und Antwortzeiten in die Höhe treiben.

Klare Regeln für Prompts und Orchestrierung

Der Integration Layer ist für die Qualität des Systems ebenso wichtig wie das Retrieval selbst.

Mit Prompt Engineering lässt sich beispielsweise festlegen:

dass Antworten auf den gefundenen Inhalten beruhen sollen,
dass das LLM bei fehlenden Informationen nicht spekulieren soll,
dass regulierte oder sensible Anfragen an Mitarbeitende weitergeleitet werden,
dass die Tonalität über verschiedene Kanäle heinheitlich bleibt.

Leistung kontinuierlich messen und überwachen

RAG-Systeme müssen laufend überprüft werden. Wichtige Contact-Center-KPIs und Qualitätskriterien sind beispielsweise:

Retrieval Precision: Wurde die richtige Information gefunden?
Response Accuracy: War die Antwort faktisch korrekt?
Eskalationsrate
Rate wiederholter Kundenkontakte
Latenz und Antwortzeit

Zusätzlich sollten Unternehmen strukturierte Tests mit realistischen Kundenanfragen durchführen. Das Feedback von Kunden und Mitarbeitenden ist besonders wichtig, um Lücken in der Knowledge Base oder Schwächen beim Retrieval zu erkennen.

Die Zukunft von RAG und Generative AI

RAG entwickelt sich zunehmend zu einer wichtigen Grundlage für den Einsatz von KI-Agenten in Unternehmen. Mit der Weiterentwicklung von Generative AI spielt RAG eine immer größere Rolle dabei, KI-Agenten zuverlässiger zu machen.

Einige Entwicklungen werden die Zukunft von RAG und seinen Einsatz in großen Contact Centern besonders prägen.

Agentic AI

KI-Systeme entwickeln sich über einfache Frage-Antwort-Interaktionen hinaus. Agentic AI ermöglicht KI-Agenten, komplexere Aufgaben in einzelne Schritte zu unterteilen, externe Tools und Systeme aufzurufen und Ergebnisse zu prüfen, bevor sie antworten.

KI-Agenten können dadurch deutlich mehr als FAQs beantworten. Sie können beispielsweise Rechnungen abrufen, Buchungen aktualisieren, Workflows auslösen und je nach Situation intelligent eskalieren.

RAG spielt dabei eine wichtige Rolle, weil Aktionen und Antworten auf verlässlichen Unternehmensdaten beruhen müssen.

Intelligentere Orchestrierung und hybride Architekturen

KI-Systeme in Unternehmen werden zunehmend modular aufgebaut. Künftige Architekturen werden Retrieval-Systeme, generative Modelle, Workflow Engines, Guardrails und Compliance-Komponenten miteinander kombinieren. Auch Human-in-the-Loop-Verfahren, bei denen Menschen bestimmte Ergebnisse prüfen oder freigeben, werden eine wichtige Rolle spielen.

RAG bleibt dabei die Verbindung zwischen Unternehmenswissen und der Generierung von Antworten.

Statt andere Verfahren zu ersetzen, wird RAG zunehmend in komplexere Systeme zur Orchestrierung verschiedener KI-Komponenten eingebunden. Für Contact Center bietet dieser hybride Ansatz einen wichtigen Vorteil: KI-Agenten bleiben flexibel, ohne dass Unternehmen dafür Kontrolle aufgeben müssen.

Breiterer Einsatz in Unternehmen

Immer mehr Unternehmen wechseln von ersten Pilotprojekten zum regulären Einsatz von KI.

Damit wird Zuverlässigkeit zu einem entscheidenden Kriterium. LLMs ohne Zugriff auf aktuelle Unternehmensinformationen stoßen besonders in regulierten Branchen und bei hohen Anfragevolumen schnell an Grenzen.

RAG schließt diese Lücke, indem Antworten auf kontrollierten Wissensquellen basieren.

Mit RAG zu KI-Agenten für den Unternehmenseinsatz

RAG ist eine zentrale Komponente, wenn aus leistungsfähigen LLMs KI-Agenten werden sollen, die sich zuverlässig in Unternehmen einsetzen lassen.

Ohne Retrieval greifen LLMs auf statische Trainingsdaten und Vorhersagen zurück, die nach Wahrscheinlichkeiten getroffen werden. Mit RAG können KI-Agenten dagegen vor einer Antwort verifizierte und aktuelle Informationen aus Knowledge Bases, CRM-Systemen, Richtlinien und internen Inhalten abrufen.

Genau dieser Unterschied ermöglicht den zuverlässigen und skalierbaren Einsatz von KI-Agenten.

Für Unternehmen kann sich das in kürzeren durchschnittlichen Bearbeitungszeiten, schnelleren Antworten, weniger wiederholten Kundenkontakten und einer höheren Produktivität der Mitarbeitenden zeigen.

Was ist Retrieval Augmented Generation? Blogbeitrag