Gesprächsgedächtnis: Was ein KI-Assistent behält

Ein Assistent, der nach dem zweiten Satz wieder bei null anfängt, ist keine Hilfe, sondern eine Schleife. Wer nach der Lieferzeit fragt und dann nachschiebt, ob das auch für die größere Variante gilt, erwartet, dass „das“ verstanden wird. Genauso wenig darf ein Assistent alles behalten, was jemals in ein Chatfenster getippt wurde. Zwischen diesen beiden Fehlern liegt, was in der Praxis Gesprächsgedächtnis heißt: eine bewusst gebaute Kette aus dem, was wortgetreu mitgeht, dem, was verdichtet wird, dem, was den Seitenwechsel übersteht, und dem, was am Ende der Sitzung verschwindet. Dieser Beitrag beschreibt die vier Stufen, die Technik dahinter, die rechtlichen Grenzen und die Testfälle, mit denen sich das Ergebnis vor dem Livegang prüfen lässt.

Grafik vergrößern

Beschriftungen der Abbildung

• Laufender Zug
• Die letzten Fragen und Antworten gehen wortgetreu in den nächsten Zug.
• Daran hängen alle Rückbezüge im Gespräch.
• bleibt im Wortlaut
• solange das Fenster reicht
• Ältere Züge
• Was davor lag, wird zu wenigen Sätzen verdichtet: Anliegen, genannte
• Objekte, Randbedingungen, offene Punkte und gemachte Zusagen.
• verdichtet
• kein freier Aufsatz
• Seitenwechsel
• Eine Sitzungskennung hält das Gespräch über den Klick hinaus zusammen.
• Der Verlauf selbst liegt auf dem Server, nicht auf dem Endgerät.
• Kennung ohne Aussage
• über die Person
• Sitzungsende
• Der Verlauf verfällt nach einer festen Frist, ohne Eingriff von Hand.
• Wiedererkennung beim nächsten Besuch nur nach Einwilligung.
• vergessen
• ist eine gebaute Funktion
• Bewusst ausgenommen: Zahlungsdaten, Zugangsdaten, Gesundheitsangaben.

Gesprächsgedächtnis eines Assistenten

Was Gedächtnis bei einem Assistenten bedeutet

Der Begriff führt in die Irre, weil er ein Bild aus dem Alltag mitbringt. Ein Sprachmodell erinnert sich nicht an das vorherige Gespräch, so wie sich ein Mensch an ein Telefonat vom Vormittag erinnert. Es bekommt bei jedem einzelnen Zug einen Text vorgelegt und schreibt ihn fort. Steht der bisherige Verlauf in diesem Text, kann der Assistent sich darauf beziehen. Steht er nicht darin, ist er für den Assistenten nicht vorhanden. Alles, was nach Gedächtnis aussieht, ist deshalb eine Entscheidung im System davor: wer legt was in diesen Text, in welcher Form und für wie lange.

Diese Entscheidung fällt an vier Stellen, und sie sind unabhängig voneinander einstellbar. Der laufende Zug trägt die letzten Fragen und Antworten wortgetreu. Eine Verdichtung fasst zusammen, was davor lag. Ein Sitzungsspeicher hält das Gespräch über einen Seitenwechsel zusammen. Und ein dauerhafter Speicher, falls es ihn gibt, verbindet zwei Besuche miteinander. Je weiter man in dieser Kette nach hinten geht, desto größer wird der Nutzen für die Kundschaft und desto strenger werden die Anforderungen an Rechtsgrundlage, Speicherdauer und Löschung.

Das Kontextfenster: der Arbeitsplatz eines Zuges

Der Text, den das Modell bei jedem Zug vorgelegt bekommt, hat eine Obergrenze. Sie wird in Token gemessen, also in Wortstücken, und sie begrenzt Systemregeln, Wissensauszüge, Gesprächsverlauf und die entstehende Antwort gemeinsam. Man kann sich das Fenster als Schreibtisch vorstellen: Was darauf liegt, lässt sich verwenden, was heruntergefallen ist, ist weg. Der Schreibtisch reicht für eine ausführliche Beratung, aber er ist nicht unendlich, und er wird von mehreren Seiten gleichzeitig belegt.

Diese Konkurrenz wird gern unterschätzt. Ein Assistent, der aus einer Wissensbasis antwortet, holt zu jeder Frage passende Auszüge dazu. Ein Assistent mit angebundenen Werkzeugen legt außerdem die Beschreibungen seiner Funktionen und die Ergebnisse ihrer Aufrufe daneben, wie es die Tool-Steuerung beschreibt. In einem langen Gespräch teilen sich Verlauf, Wissensauszüge und Werkzeugantworten denselben Platz. Wer das Gedächtnis vergrößert, verkleinert damit fast immer etwas anderes. Die brauchbare Regel lautet deshalb nicht „so viel Verlauf wie möglich“, sondern „so viel Verlauf wie nötig, der Rest verdichtet“.

Wenn der Verlauf wächst: verdichten statt abschneiden

Wird der Verlauf länger als der eingeräumte Platz, gibt es drei Wege, und zwei davon sind schlecht. Der erste ist das harte Abschneiden: Die ältesten Züge fallen weg. Das ist billig und zerstört genau die Angaben, die am Anfang eines Gesprächs stehen, nämlich das eigentliche Anliegen und die Randbedingungen. Der zweite ist das Weglassen der Antworten bei gleichzeitigem Behalten der Fragen. Auch das kippt, sobald sich eine Frage auf eine vorherige Antwort bezieht. Der dritte Weg ist die Verdichtung: Ältere Züge werden zu wenigen Sätzen zusammengefasst, die letzten Züge bleiben wortgetreu stehen.

Die Verdichtung ist der einzige Weg, der beides erhält, aber sie ist keine Nebensache. Was in die Zusammenfassung darf, wird vorher festgelegt, sonst entsteht eine zweite Fehlerquelle: Ein Assistent, der seinen eigenen Verlauf frei zusammenfasst, kann dabei eine Angabe verschieben, und die verschobene Angabe steht danach als Tatsache im Kontext. Aus demselben Grund, aus dem Antworten an Belege gebunden werden, wie es der Beitrag zu Halluzinationen und Wissensbasis beschreibt, ist die Zusammenfassung ein enges Formular und kein freier Aufsatz.

• Das Anliegen in einem Satz, so wie die Person es selbst formuliert hat, nicht in der Umdeutung des Assistenten.
• Genannte Objekte mit ihrer Kennung: Artikelnummer, Vertragsnummer, Modellbezeichnung, Standort, Termin.
• Randbedingungen, die die Antwort einschränken: Frist, Menge, Maße, Sprache, Zuständigkeit, gewünschter Kanal.
• Offene Punkte: was der Assistent bereits nachgefragt hat und worauf noch keine Antwort vorliegt.
• Zusagen, die im Gespräch gemacht wurden, etwa ein Rückruf oder die Übergabe an einen Menschen.
• Nicht hinein gehören Höflichkeitsfloskeln, wiederholte Formulierungen und alles, was für die Fortsetzung keine Bedeutung hat.

Der Seitenwechsel: warum das Gespräch nicht bei null anfangen soll

Der häufigste Bruch im Alltag hat mit Modellen nichts zu tun. Jemand fragt im Chat nach einem Produkt, klickt auf die Produktseite, kommt zurück, und das Fenster ist leer. Aus Sicht der Besucherin ist das ein Defekt: Sie hat das Gespräch nicht beendet, sie hat nur geklickt. Technisch ist es der Normalfall, wenn niemand etwas dagegen unternimmt, denn beim Seitenwechsel wird die Seite neu aufgebaut und mit ihr das Chatfenster. Damit das Gespräch überlebt, braucht es eine Kennung, unter der der Verlauf wiedergefunden wird, und einen Ort, an dem er in der Zwischenzeit liegt.

Beides sollte man getrennt betrachten. Die Kennung ist eine kurze, zufällige Zeichenfolge ohne Aussage über die Person. Der Verlauf selbst liegt entweder im Browser oder auf dem Server. Die serverseitige Ablage ist in der Regel die sauberere Variante: Der Inhalt des Gesprächs verlässt den eigenen Verantwortungsbereich nicht, die Löschfrist ist an einer Stelle durchsetzbar, und auf dem Endgerät bleibt nur die Kennung. Wie sich das in eine bestehende Seite einfügt, zeigt der Beitrag zur Einbindung auf Website und im Shop.

Über Sitzungen hinweg: was gespeichert werden darf

Sobald ein Assistent beim nächsten Besuch weiß, wer da schreibt, ist eine Grenze überschritten, die im Alltag leicht übersehen wird. Das laufende Gespräch zusammenzuhalten und eine Person über Besuche hinweg wiederzuerkennen sind zwei verschiedene Verarbeitungen mit zwei verschiedenen Bewertungen. Die Speicherung von Informationen in der Endeinrichtung des Endnutzers oder der Zugriff auf dort bereits gespeicherte Informationen sind nur zulässig, wenn der Endnutzer auf der Grundlage von klaren und umfassenden Informationen eingewilligt hat (§ 25 Absatz 1 TDDDG). Das gilt unabhängig davon, ob die abgelegte Information personenbezogen ist.

Der zweite Absatz derselben Vorschrift nimmt davon aus, was unbedingt erforderlich ist, damit der Anbieter eines digitalen Dienstes einen vom Nutzer ausdrücklich gewünschten digitalen Dienst zur Verfügung stellen kann (§ 25 Absatz 2 Nummer 2 TDDDG). Wer das Chatfenster öffnet und eine Frage stellt, wünscht diesen Dienst ausdrücklich. Die Sitzungskennung, ohne die das Gespräch beim ersten Klick abreißt, fällt darunter. Eine Kennung, die den heutigen Besuch mit einem Besuch in drei Wochen verbindet, fällt nicht darunter, weil sie für die Beantwortung der heutigen Frage nicht erforderlich ist. Die Abgrenzung im Einzelfall behandelt der Beitrag zu DSGVO, Datenschutz und Hosting.

Für den Inhalt des Gesprächs kommt die Datenschutz-Grundverordnung hinzu, unabhängig davon, wo er liegt. Wer eine Anfrage bearbeitet, stützt sich auf die Durchführung vorvertraglicher Maßnahmen auf Anfrage der betroffenen Person (Artikel 6 Absatz 1 Buchstabe b DSGVO). Über Zweck, Empfänger und Speicherdauer ist zum Zeitpunkt der Erhebung zu informieren (Artikel 13 DSGVO), und durch Voreinstellung dürfen grundsätzlich nur die für den jeweiligen Zweck erforderlichen Daten verarbeitet werden (Artikel 25 Absatz 2 DSGVO). Für ein Gesprächsgedächtnis heißt das in der Voreinstellung: kurz, zweckgebunden und ohne Wiedererkennung. Alles darüber hinaus ist eine bewusste, begründete und dokumentierte Entscheidung.

Was ein Assistent bewusst vergisst

Vergessen ist kein Mangel, sondern eine Funktion, und sie wird eingebaut wie jede andere. Es gibt Angaben, die in einem Chatfenster landen, ohne dass jemand sie dort haben wollte: eine Kontonummer, die jemand vorsichtshalber mitschickt, ein Passwort im falschen Feld, eine Diagnose in der Schilderung eines Problems. Ein Assistent kann nicht verhindern, dass so etwas getippt wird. Er kann aber verhindern, dass es in einer Zusammenfassung landet, in ein Protokoll wandert oder über die Sitzung hinaus bestehen bleibt. Bei XICBOT reicht das heute so weit: Der Verlauf wird vollständig gespeichert und geht ungekürzt an das Sprachmodell; in der Ansicht für Ihr Team stehen E-Mail-Adressen, Rufnummern, IBAN und Anschriften maskiert, und den Klartext öffnet nur die Inhaberrolle mit Angabe eines Grundes, der protokolliert wird.

• Zahlungsdaten: vollständige Kartennummern, Prüfziffern und Kontoverbindungen sollten erkannt, im Verlauf maskiert und nicht in die Verdichtung übernommen werden.
• Zugangsdaten: Passwörter und Einmalkennwörter sollten weder zurückgelesen noch gespeichert werden. Der Assistent sollte auf den richtigen Weg hinweisen und die Eingabe verwerfen.
• Gesundheitsangaben und andere besondere Kategorien im Sinne von Artikel 9 Absatz 1 DSGVO sollten, soweit möglich, außerhalb jedes dauerhaften Speichers bleiben.
• Freitext ohne Zweck: Was für die Bearbeitung des Anliegens nicht gebraucht wird, geht gar nicht erst in die Verdichtung ein.
• Angaben Dritter: Namen und Kontaktdaten von Personen, die am Gespräch nicht beteiligt sind, werden nicht zu einem Merkmal des Verlaufs.
• Vermutungen des Assistenten über die Person: Einschätzungen zu Zahlungsfähigkeit, Stimmung oder Absicht gehören nicht in einen gespeicherten Verlauf.

Der Grund steht im Grundsatz der Datenminimierung: Personenbezogene Daten müssen dem Zweck angemessen und erheblich sowie auf das für die Zwecke der Verarbeitung notwendige Maß beschränkt sein (Artikel 5 Absatz 1 Buchstabe c DSGVO). Für ein Gesprächsgedächtnis ist das eine ausgesprochen praktische Vorgabe, weil sie die Frage umdreht. Nicht „was könnte man behalten“, sondern „was wird für die Fortsetzung dieses Gesprächs gebraucht“. Alles andere fällt weg, und zwar an der Stelle, an der die Verdichtung entsteht, nicht erst in einer nächtlichen Aufräumroutine.

Löschfristen, Auskunft und Widerruf

Ein Gedächtnis ohne Verfallsdatum ist ein Archiv. Betroffene haben das Recht, die unverzügliche Löschung sie betreffender personenbezogener Daten zu verlangen, wenn diese für die Zwecke, für die sie erhoben wurden, nicht mehr notwendig sind (Artikel 17 Absatz 1 DSGVO). Einzuhalten ist das erheblich leichter, wenn die Fristen von vornherein je Speicherort gesetzt sind und automatisch ablaufen. Eine Frist, die jemand von Hand durchsetzen muss, ist im dritten Monat keine Frist mehr.

• Fensterinhalt: endet mit der geschlossenen Seite. Nichts zu löschen, weil nichts abgelegt wurde.
• Sitzungsverlauf: eine kurze Frist nach dem letzten Zug, damit eine zurückkehrende Besucherin fortsetzen kann, ohne dass ein Tagesarchiv entsteht.
• Bearbeitungsverlauf: solange die Anfrage bearbeitet wird, plus eine knappe Nachlaufzeit für Rückfragen. Danach bleibt die Auskunft im Vorgang, nicht das Rohprotokoll.
• Auswertung: ohne Personenbezug und ohne Freitext, sonst entsteht durch die Hintertür ein dauerhafter Verlauf. Was sich sinnvoll auswerten lässt, zeigt die Gesprächsanalyse.
• Wiedererkennung: nur mit Einwilligung, mit einem Widerrufsweg, der so einfach ist wie die Erteilung, und mit sofortiger Wirkung auf den bereits gespeicherten Verlauf.

Zwei Punkte werden dabei regelmäßig vergessen. Erstens muss Auskunft möglich sein: Wer fragt, hat das Recht auf Auskunft über die verarbeiteten personenbezogenen Daten (Artikel 15 Absatz 1 DSGVO), und ein Gesprächsverlauf gehört dazu, sobald er einer Person zugeordnet werden kann. Zweitens muss der Widerruf auch das Gedächtnis erreichen. Eine widerrufene Einwilligung, nach der der Assistent beim nächsten Besuch weiterhin den Namen kennt, ist ein Befund und kein Detail. Beides gehört in dieselbe Abnahme wie die fachlichen Antworten. Welche Rahmenbedingungen für Verarbeitung und Speicherort gelten, steht unter Datenschutz und Hosting.

Gedächtnis bei der Übergabe an einen Menschen

Das Gesprächsgedächtnis zeigt seinen Wert am deutlichsten in dem Moment, in dem der Assistent aufhört. Wird ein Anliegen an einen Menschen übergeben und beginnt dieser Mensch mit der Frage „Worum geht es denn?“, war die vorherige Viertelstunde für die Kundschaft verloren. Die Übergabe braucht deshalb genau das, was eine Verdichtung erzeugt: Anliegen, genannte Objekte, Randbedingungen, offene Punkte und die bereits gemachten Zusagen. Sehen sollte der Kollege nicht nur eine Abschrift des Chats, sondern dessen Kern, mit der Möglichkeit, den Wortlaut bei Bedarf aufzuklappen. Bei XICBOT bekommt Ihr Team den Grund der Übergabe, die bekannten Kontaktdaten und den Gesprächsverlauf im Wortlaut; eine Verdichtung erstellt XICBOT nicht.

Dieselbe Verdichtung trägt zwei weitere Fälle. Sie trägt den Rückruf am nächsten Werktag, bei dem der Anrufer den Stand kennen sollte, ohne den Chat lesen zu müssen. Und sie trägt den Kanalwechsel, wenn ein Gespräch im Chat beginnt und per Nachricht fortgesetzt wird. In beiden Fällen entscheidet die Qualität der Zusammenfassung darüber, ob die Übergabe als Fortschritt oder als Neustart erlebt wird. Wie ein sauberer Übergang abläuft, beschreibt der Beitrag zur Übergabe an einen Mitarbeiter, und woran sich ablesen lässt, wo sie zu spät kommt, der Beitrag zur Gesprächsanalyse.

Was ein langes Gedächtnis kostet

Mehr Verlauf im Kontext ist nicht umsonst zu haben, und bezahlt wird in zwei Währungen. Die erste ist Zeit. Jedes zusätzliche Stück Text muss übertragen und verarbeitet werden, bevor das erste Zeichen der Antwort erscheint. Wie viel Spielraum dabei besteht, hängt am Ausgangswert: In unserer eigenen Messreihe lag die Zeit bis zum ersten Zeichen der Antwort bei 1,3 s im Median, gemessen an 64 Fragen an den eigenen Assistenten, nicht an Kundenprojekten. Die Rohwerte und die Bedingungen stehen unter Messreihen. Ein Gespräch, das in jedem Zug den gesamten bisherigen Verlauf mitschleppt, entfernt sich von diesem Wert mit jeder weiteren Frage.

Die zweite Währung ist Genauigkeit, und sie ist die unangenehmere. Ein sehr langer Kontext verwässert das Wichtige: Zwischen dreißig Zügen Nebensächlichkeiten steht die entscheidende Randbedingung genauso da wie eine beiläufige Bemerkung, und die Antwort greift die falsche auf. Widersprüche verschärfen das. Wenn jemand erst „für die kleine Wohnung“ sagt und später „doch für das Büro“, entscheidet die Anordnung im Kontext darüber, welche Angabe gewinnt. Eine Verdichtung, die den aktuellen Stand ausdrücklich als aktuellen Stand kennzeichnet, löst genau dieses Problem. Ein bloßes Anhängen aller Züge löst es nicht.

Das Gedächtnis prüfen: Testfälle vor dem Livegang

Ob ein Gesprächsgedächtnis trägt, lässt sich nicht am Systemtext ablesen, sondern nur an Gesprächen. Die Prüfung braucht deshalb Testfälle, die genau die Übergänge treffen, an denen etwas verloren geht: den Rückbezug über mehrere Züge, den Seitenwechsel, das lange Gespräch jenseits der Verdichtungsgrenze, den Widerspruch und den Themenwechsel. Jeder dieser Fälle wird als Gespräch aufgeschrieben, zusammen mit der Antwort, die als bestanden gilt. Eine Antwort, die zufällig richtig ist, aber den falschen Stand verwendet, gilt nicht als bestanden.

• Rückbezug: In Zug fünf wird auf eine Aufzählung aus Zug zwei verwiesen. Bestanden ist die Antwort, die das gemeinte Element benennt, statt zurückzufragen.
• Seitenwechsel: Mitten im Gespräch wird eine Unterseite geöffnet und wieder zurückgekehrt. Bestanden ist ein Fenster, das den bisherigen Verlauf zeigt.
• Verdichtungsgrenze: Ein Gespräch wird über die eingestellte Grenze hinaus geführt und danach nach einer Angabe aus dem ersten Zug gefragt.
• Widerspruch: Eine Angabe wird im Verlauf korrigiert. Bestanden ist die Antwort, die den neuen Stand verwendet und die Korrektur benennt.
• Themenwechsel: Nach einem abgeschlossenen Anliegen beginnt ein zweites. Bestanden ist eine Antwort, die den alten Kontext nicht in das neue Anliegen hineinträgt.
• Vergessen: Eine Kartennummer und ein Passwort werden getippt. Bestanden ist ein gespeicherter Verlauf, in dem beides maskiert oder gar nicht vorhanden ist.
• Löschung: Nach Ablauf der Frist wird der Speicher angesehen. Bestanden ist ein Speicher ohne diesen Verlauf, ohne dass jemand von Hand eingegriffen hat.

Diese Liste gehört in dieselbe Abnahme wie die fachlichen Testfälle und wird nach jeder Änderung an Systemregeln, Verdichtungsgrenze oder Speicherfrist erneut durchlaufen. Der Aufwand ist gering, weil die Fälle kurz sind. Der Nutzen ist groß, weil Gedächtnisfehler im Betrieb selten als Fehler gemeldet werden: Eine Besucherin, die zweimal dasselbe erklären musste, schreibt keine Beschwerde, sie schließt das Fenster. Sichtbar wird das erst in der Auswertung der Gespräche, und dort später als nötig. Wie sich eine solche Abnahme aufsetzen lässt, beschreibt der Beitrag zu Testfällen und Livegang. Welche Aufbewahrungsfristen Sie für Gespräche einstellen und wie gelöscht wird, zeigt die Seite zu Datenschutz und Aufbewahrung bei XICBOT.

Häufige Fragen