Halluzinationen vermeiden: Wissensbasis mit RAG

Ein KI-Assistent, der Kundinnen und Kunden Auskunft gibt, ist nur so verlässlich wie das, worauf er seine Antworten stützt. Genau hier liegt das größte Missverständnis über generative Sprachmodelle: Sie sind darauf trainiert, den nächstwahrscheinlichen Satz zu bilden, nicht darauf, die Wahrheit zu kennen. Fehlt die Anbindung an geprüfte Inhalte, kann ein Modell eine falsche Auskunft genauso selbstsicher formulieren wie eine richtige. In der Fachsprache heißt das Halluzination oder, wie es das NIST AI Risk Management Framework nennt, Konfabulation. Wie ernst das Thema in Unternehmen genommen wird, zeigt eine Erhebung: 51 Prozent (McKinsey) der Befragten aus Organisationen, die KI einsetzen, geben an, dass ihre Organisation mindestens eine negative Folge des KI-Einsatzes erlebt hat, und knapp ein Drittel (McKinsey) aller Befragten nennt Folgen, die konkret auf ungenaue KI-Ausgaben zurückgehen. Sogar spezialisierte, an Fachdatenbanken angebundene Recherchewerkzeuge treffen daneben: In einer Untersuchung juristischer KI-Tools lag die Halluzinationsrate trotz Quellenanbindung zwischen 17 und 33 Prozent (Stanford RegLab). Dieser Beitrag erklärt, warum ein generisches Modell Fakten erfindet, und wie eine gepflegte Wissensbasis mit Retrieval-Augmented Generation die Antworten an Ihre echten Inhalte bindet: über Quellenbindung, Konfidenz-Schwellen mit Eskalation an Menschen, den ehrlichen Umgang mit Wissenslücken und die Aktualität der Inhalte.

Grafik vergrößern

Beschriftungen der Abbildung

• Wissensbasis
• Website & Seiten
• Shop-Katalog & Preise
• Dokumente & FAQ
• RAG-Abruf
• relevante Stellen
• Geerdete Antwort
• Welche Garantie gilt hier?
• Ja, es gelten 24 Monate
• Herstellergarantie.
• Quelle: Garantie-FAQ
• Konfidenz: hoch
• Konfidenz-Schwelle (manche Systeme)
• Schwelle
• Über der Schwelle: Antwort aus der Quelle
• Darunter: Übergabe an einen Menschen
• Wissenslücke? Kein Raten.
• Habt ihr Sondermodell Z?
• Dazu habe ich keine gesicherte
• Angabe. Ich hole jemanden dazu.
• Übergabe an das Team
• Geerdet in Ihren Inhalten: mit Beleg antworten, ohne Grundlage abgeben

Antworten an die Wissensbasis binden

Warum ein Sprachmodell Fakten erfindet

Ein großes Sprachmodell ist im Kern ein Wahrscheinlichkeitsrechner für Sprache. Es hat aus sehr vielen Texten gelernt, welche Wörter üblicherweise aufeinanderfolgen, und setzt eine Antwort Wort für Wort aus dem zusammen, was statistisch am besten passt. Das erklärt, warum die Ausgaben so flüssig und überzeugend klingen. Es erklärt aber auch das Grundproblem: Das Modell hat kein eingebautes Konzept davon, ob eine Aussage stimmt. Es unterscheidet nicht zwischen belegtem Wissen und einer plausibel klingenden Erfindung, sondern erzeugt in beiden Fällen einen gut formulierten Satz. Fehlt eine gesuchte Information, füllt das Modell die Lücke oft mit etwas, das passend aussieht, statt die Lücke offen einzuräumen.

Im Kundenkontakt wird daraus ein handfestes Risiko. Ein Assistent, der nicht an die eigenen Inhalte gebunden ist, kann einen Preis nennen, den es so nicht gibt, eine Rückgabefrist erfinden, ein Produkt beschreiben, das nicht im Sortiment ist, oder eine Zusage machen, die niemand treffen wollte. Gerade weil die falsche Antwort genauso souverän formuliert ist wie eine richtige, fällt der Fehler weder der fragenden Person noch dem Betrieb sofort auf. Was ein KI-Assistent im Grundsatz leistet und wo seine Grenzen liegen, ordnet unser Beitrag was ein KI-Chat-Assistent ist ein. Die entscheidende Stellschraube gegen erfundene Fakten ist, dem Modell eine geprüfte Grundlage zu geben, aus der es antworten soll.

Was eine Wissensbasis mit RAG verändert

Retrieval-Augmented Generation, kurz RAG, verbindet das Sprachmodell mit einer durchsuchbaren Wissensbasis. Statt eine Antwort allein aus dem allgemeinen Trainingswissen zu bilden, sucht das System zuerst die passenden Stellen in Ihren Inhalten heraus und lässt das Modell die Antwort auf dieser abgerufenen Grundlage formulieren. Der Ansatz geht auf die Arbeit von Lewis und Kolleginnen bei Meta AI Research zurück, die 2020 zeigten, dass ein solches Verfahren neue Bestwerte auf anspruchsvollen Wissensaufgaben erreichte, darunter 44,5 Punkte Exact Match in der offenen Fragebeantwortung von Natural Questions (Meta AI Research). Der Kern des Prinzips: Das Modell muss Fakten nicht auswendig können, es schlägt sie im Moment der Frage in einer verlässlichen Quelle nach.

Für die Antwortqualität ist der entscheidende Befund derselben Arbeit noch aussagekräftiger. Menschliche Prüfer bewerteten die quellengestützten Antworten in 42,7 Prozent der Fälle als sachlich korrekter, gegenüber nur 7,1 Prozent für ein vergleichbares Modell ohne Anbindung (Meta AI Research). Auch als konkreter und spezifischer galten die abgerufenen Antworten deutlich häufiger, in 37,4 Prozent gegenüber 16,8 Prozent der Fälle (Meta AI Research). Eine Anbindung an geprüfte Inhalte verringert also nicht nur erfundene Aussagen, sie macht die Antworten zugleich präziser. Wie wir diese Grundlage für Ihren Assistenten aufbauen und pflegen, beschreibt die Seite zur Wissensbasis.

Quellenbindung: jede Antwort mit Beleg

Quellenbindung bedeutet, dass der Assistent seine Aussagen aus den freigegebenen Inhalten Ihres Unternehmens ableitet und nicht aus dem allgemeinen Weltwissen des Modells: aus der Website, dem Produktkatalog, der Preisliste, den FAQ und geprüften Dokumenten. Was dort nicht steht, wird nicht behauptet. Im Idealfall kann der Assistent zu einer Antwort auch die Herkunft nennen, etwa eine bestimmte FAQ oder den Katalogeintrag, sodass sich die Auskunft nachvollziehen und im Zweifel prüfen lässt. Aus einer Aussage, der man vertrauen muss, wird so eine Aussage, die man belegen kann.

Diese Bindung ist keine Kür, sondern eine anerkannte Schutzmaßnahme. Das NIST AI Risk Management Framework führt Konfabulation als eine von zwölf Risikokategorien für generative KI und benennt dazu mehr als 200 empfohlene Maßnahmen zur Beherrschung solcher Risiken (NIST AI Risk Management Framework). Die Bindung an geprüfte Quellen gehört zu den wirksamsten davon. Bei XICBOT legen wir pro Projekt fest, wie eng die Antworten an Ihre Inhalte gekoppelt sind und welche Bereiche der Assistent überhaupt beantworten darf. Wie er dabei nur klar definierte, freigegebene Aktionen ausführt, statt eigenmächtig zu handeln, zeigt der Beitrag zur Tool-Steuerung.

Konfidenz-Schwellen und Eskalation an Menschen

Auch mit einer Wissensbasis bleibt eine Restunsicherheit: Manchmal findet der Abruf keine gut passende Stelle, manchmal ist die Frage mehrdeutig, manchmal widersprechen sich zwei Quellen. Genau dafür setzen manche Systeme Konfidenz-Schwellen ein. Vereinfacht gesagt bewertet ein solches System, wie gut die abgerufenen Inhalte zur Frage passen und wie belastbar eine Antwort daraus wäre. Liegt dieser Wert über einer festgelegten Schwelle, antwortet der Assistent aus der Quelle. Liegt er darunter, antwortet er bewusst nicht auf gut Glück, sondern reicht das Anliegen weiter. So wird aus einem stillen Ratespiel eine kontrollierte Entscheidung.

Bei einer Übergabe geht der volle Gesprächskontext mit an eine Mitarbeiterin, ein Kontaktformular oder einen Rückruf, damit niemand seine Frage zweimal stellen muss. Das ist kein Eingeständnis von Schwäche, sondern ein Qualitätsmerkmal: Der Assistent kennt seine Grenzen und überschreitet sie nicht. Nicht ohne Grund ist ungenaue Ausgabe laut Erhebung das am häufigsten genannte Risiko beim Einsatz generativer KI (McKinsey). Wie eine saubere Übergabe rund um die Uhr funktioniert, ohne fachliche Grenzen zu überschreiten, beschreibt der Beitrag zum Support-Assistenten.

Wissenslücken zugeben statt raten

Ein ehrliches Ich weiß es nicht ist im Kundenkontakt mehr wert als eine selbstsichere Falschauskunft. Ein gut eingerichteter Assistent behandelt eine Wissenslücke deshalb nicht als Makel, den er kaschieren muss, sondern als Anlass, den nächsten hilfreichen Schritt anzubieten. Statt eine Rückgabefrist zu erfinden, sagt er, dass ihm dazu keine gesicherte Angabe vorliegt, und bietet an, die Frage an das Team weiterzugeben oder einen Rückruf zu vereinbaren. Die fragende Person bleibt nicht mit einer möglicherweise falschen Auskunft zurück, sondern auf einem verlässlichen Weg zur richtigen Antwort.

Die verlässlichste Antwort auf eine offene Frage ist nicht die schnellste Erfindung, sondern der ehrliche Hinweis auf die Lücke und der Weg zu einem Menschen, der sie schließen kann.

Welche Fragen häufig ins Leere laufen, ist zugleich eine wertvolle Information. Jede erkannte Wissenslücke zeigt, wo Inhalte fehlen oder unklar formuliert sind. Die anonymisierte Gesprächsanalyse macht diese Muster sichtbar, sodass sich die Wissensbasis gezielt dort ergänzen lässt, wo Besucher tatsächlich Antworten suchen. Aus einer Lücke wird so eine konkrete Aufgabe für die Pflege, statt einer stillen Fehlerquelle.

Aktualität: eine Wissensbasis, die mitwächst

Selbst eine perfekt gebundene Antwort ist wertlos, wenn die zugrunde liegende Quelle veraltet ist. Ein Preis von gestern, eine abgelaufene Aktion oder eine geänderte Öffnungszeit werden sonst korrekt aus der Quelle wiedergegeben und sind trotzdem falsch. Hier spielt RAG seine zweite große Stärke aus: Weil das abrufbare Wissen getrennt vom Sprachmodell liegt, lässt es sich aktualisieren, ohne das Modell neu zu trainieren (Meta AI Research). Sie pflegen die Inhalte an einer Stelle, und der Assistent antwortet danach auf dem neuen Stand.

In der Praxis heißt das, die Wissensbasis regelmäßig mit den lebenden Quellen abzugleichen: der Website, dem Shop-Katalog, den Preisen und den Dokumenten. Ebenso wichtig ist das Gegenstück, nämlich überholte Inhalte auszusortieren, damit der Assistent nicht aus einer alten Version antwortet. Bei XICBOT gehören dieser Abgleich, die Pflege und das Hosting in Deutschland zum laufenden Leistungsumfang, sodass die Grundlage aktuell bleibt, ohne interne Ressourcen zu binden. Wie sich der Assistent technisch an Ihre bestehenden Systeme anbinden lässt, beschreibt der Beitrag zur Integration.

• Website, Shop und Dokumente regelmäßig mit der Wissensbasis abgleichen
• Überholte Inhalte aktiv aussortieren, statt sie liegen zu lassen
• Preise, Fristen und Verfügbarkeiten als besonders zeitkritisch behandeln
• Erkannte Wissenslücken aus der Gesprächsanalyse gezielt schließen
• Für heikle Bereiche feste Grenzen und eine Übergabe an Menschen setzen
• Antworten stichprobenartig gegen die hinterlegte Quelle prüfen

Grenzen: auch mit Wissensbasis kein Selbstläufer

Eine Wissensbasis mit Quellenbindung senkt das Risiko erfundener Fakten erheblich, aber sie hebt es nicht vollständig auf. Das lässt sich an der bereits genannten Untersuchung ablesen: Selbst spezialisierte, an Fachdatenbanken angebundene Recherchewerkzeuge lieferten in mindestens einer von sechs anspruchsvollen Anfragen eine falsche oder schlecht belegte Antwort (Stanford HAI). Die Ursachen sind bekannt: Der Abruf findet die falsche Stelle, eine Frage ist mehrdeutig, zwei Quellen widersprechen sich, oder die Inhalte selbst enthalten einen Fehler. Wer verspricht, ein System sei dadurch unfehlbar, verkennt die Technik.

Gute Ergebnisse entstehen deshalb aus dem Zusammenspiel mehrerer Vorkehrungen: sauber gepflegte Quellen, ein klar abgegrenzter Zuständigkeitsbereich, laufende Beobachtung der Gespräche und eine menschliche Aufsicht für heikle Fälle. Zur Verlässlichkeit gehört auch Transparenz gegenüber den Nutzern. Warum ein KI-Assistent sich als solcher zu erkennen geben sollte, ordnet unser Beitrag zur Kennzeichnungspflicht nach dem EU AI Act ein. Und dass verlässliche Antworten für alle nutzbar sein müssen, behandelt der Beitrag zum barrierefreien KI-Assistenten.

So bauen wir Ihre Wissensbasis auf

Am Anfang steht eine Bestandsaufnahme Ihrer Inhalte: Website, Shop, Preise, FAQ und Dokumente werden gesichtet und zu einer strukturierten Wissensbasis zusammengeführt. Anschließend legen wir fest, wie eng die Antworten an diese Quellen gebunden sind, welche Bereiche der Assistent eigenständig beantwortet und in welchen Fällen er an einen Menschen übergibt. Das Hosting liegt in Deutschland; für Betriebe mit erhöhtem Schutzbedarf sind europäische oder selbst betriebene Sprachmodelle als eigenes Projekt nach Absprache möglich, wie es der Beitrag zu Datenschutz und Hosting beschreibt. So entsteht ein Assistent, der aus Ihren Inhalten antwortet und bei fehlender Grundlage absagen soll, statt zu raten.

Der Einstieg gelingt meist über einen Website-Assistenten, der Fragen aus Ihrer Wissensbasis beantwortet und Kontakte erfasst, und lässt sich später um Shop-Funktionen, Terminanfragen und weitere Aktionen erweitern. Weil dieselbe Wissensbasis mehrere Sprachen bedient, antwortet der Assistent konsistent, auch wenn Besucher in ihrer eigenen Sprache fragen, wie der Beitrag zum mehrsprachigen Assistenten zeigt. Wie sich ein individuell trainierter Assistent grundsätzlich von einem Baukasten-Bot unterscheidet, vertieft der Vergleich individueller Assistent gegenüber Standard-Chatbot. Welches Paket zu Ihrem Vorhaben passt, zeigt die Preisübersicht.

Häufige Fragen