KI-Assistent aktualisieren, ohne ihn abzuschalten

Ein Assistent, der seit Wochen antwortet, ist kein Projekt mehr, sondern ein laufender Betrieb. Genau das macht die nächste Änderung heikel. Ein zusätzlicher Absatz in der Systemanweisung, eine überarbeitete Preisliste in der Wissensbasis, ein neues Werkzeug für die Terminabfrage: Jede dieser Anpassungen greift in ein System ein, das währenddessen Fragen beantwortet. Die naheliegende Lösung, das Chatfenster für die Umstellung abzuschalten, kostet genau die Anfragen, für die der Assistent gebaut wurde, und sie kommen selten ein zweites Mal. Die bessere Lösung ist unspektakulär und im Software-Betrieb seit Langem üblich: Jede Fassung bekommt eine Kennung, wird in einer Vorschau gegen die echten Testfälle geprüft, schrittweise umgeschaltet und bleibt bis zum letzten Moment zurücknehmbar. Dieser Beitrag beschreibt, wie das bei einem KI-Assistenten praktisch abläuft, und warum der schwierigste Teil nicht das Umschalten ist, sondern der Nachweis, dass tatsächlich die neue Fassung antwortet.

Grafik vergrößern

Beschriftungen der Abbildung

• Fassung 14, Entwurf
• Entwurf
• Anweisung, Wissensbasis
• und Rechte gebündelt
• Fassung 14, Vorschau
• Vorschau
• derselbe Testfallkatalog
• wie für Fassung 13
• Fassung 14, Anteil
• Teilbetrieb
• kleiner Anteil der Gespräche
• Abbruchkriterium steht
• Fassung 14, alle
• Vollbetrieb
• alle Gespräche
• Fassung 13 bleibt liegen
• Rückfall auf Fassung 13: in Minuten, ohne Neubau, zu jedem Zeitpunkt
• Drei Nachweise, dass die neue Fassung antwortet
• 1. Das im Browser geladene Skript nennt die Kennung der Fassung
• 2. Das Protokoll des nächsten Gesprächs nennt dieselbe Kennung
• 3. Eine Frage, deren Antwort sich zwischen den Fassungen unterscheidet
• Die Erfolgsmeldung eines Werkzeugs zählt als Nachweis nicht
• Was in der Kennung steht
• Anweisung als Prüfsumme
• Dokumente mit Stand und Anzahl
• Werkzeugrechte und Modellname
• dazu Datum, Person und Grund
• 2 670
• Abschnitte aus 70 Dokumenten
• in der eigenen Wissensbasis
• XICBOT, eigene Zählung
• Ein Gespräch, eine Fassung
• Die Umstellung greift ab dem
• nächsten Gespräch, nicht
• mitten im laufenden Dialog
• sonst bricht der Ton im Verlauf
• Drei Schichten, drei Speicher
• Skript im Browser
• antwortender Dienst
• Index der Wissensbasis
• jede Schicht einzeln nachweisen

Vom Entwurf zur Live-Fassung in vier Schritten

Was sich an einem laufenden Assistenten überhaupt ändert

Wer von der Aktualisierung eines Assistenten spricht, meint meist eine einzelne Sache: einen neuen Satz in der Anweisung oder ein neues Dokument im Bestand. Technisch sind es vier voneinander getrennte Schichten, und sie ändern sich in völlig unterschiedlichem Takt. Die Systemanweisung bleibt oft monatelang unangetastet, die Wissensbasis verändert sich wöchentlich, die Werkzeugrechte springen, wenn eine neue Funktion dazukommt, und die Laufzeit verändert sich gelegentlich ohne Ihr Zutun, weil ein Anbieter seine Modellfassung weiterentwickelt. Eine Kennung für den Assistenten als Ganzes ist deshalb zu grob. Eine Fassung ist die Kombination aus allen vier Schichten zu einem Zeitpunkt.

Diese Unterscheidung ist keine Formalie. Sie entscheidet darüber, ob eine spätere Frage beantwortbar ist. Wenn ein Kunde im Oktober eine Antwort beanstandet, die er im September bekommen hat, lautet die erste Rückfrage: Welche Anweisung galt damals, welche Dokumente lagen im Bestand, welche Abfragen durfte der Assistent stellen, mit welcher Modellfassung wurde geantwortet? Wer diese vier Angaben nicht zusammen aufgeschrieben hat, kann den Fall nicht rekonstruieren und beginnt zu raten. Wer sie hat, liest sie in einer Minute nach.

Die Wissensbasis ist dabei die Schicht, die am meisten unterschätzt wird, weil eine Änderung an ihr so klein aussieht. Unsere eigene Wissensbasis umfasst 2 670 Abschnitte aus 70 Dokumenten; diese Zahl gilt für den Bestand des Assistenten, der auf dieser Seite antwortet. Eine einzelne ausgetauschte Preisliste ist in einem solchen Bestand kein kleiner Eingriff, sondern eine Verschiebung im Wettbewerb um jede Frage, die diese Liste berührt. Man sieht ihr das nicht an, und genau deshalb braucht sie dieselbe Behandlung wie eine Änderung am Code. Welche Inhalte überhaupt in einen solchen Bestand gehören, ordnet unser Beitrag zum Aufbau einer Wissensbasis ein.

Warum jede Änderung eine Kennung braucht

Eine Kennung ist keine Versionsnummer um ihrer selbst willen. Sie ist ein Zeiger auf einen Stand, der sich nicht mehr verändert. Erst dadurch werden drei Fragen beantwortbar, die im Betrieb regelmäßig gestellt werden: Was war live, als dieses Gespräch lief? Was hat sich seit dem letzten Stand geändert, der unauffällig lief? Und worauf genau fällt man zurück, wenn die neue Fassung sich als schlechter erweist? Ohne Kennung sind alle drei Fragen Gedächtnisfragen, und das Gedächtnis eines Teams reicht in solchen Dingen etwa zwei Wochen.

Der Aufwand dafür ist gering, wenn er beim Ändern entsteht und nicht danach. Wer die Kennung erst vergibt, wenn sie gebraucht wird, rekonstruiert einen Stand, den es so nie gab. Praktisch genügt ein Eintrag je Fassung, der die vier Schichten festhält und daneben die drei Angaben, die später niemand mehr weiß: wann, durch wen, und warum. Der Grund ist die wertvollste Zeile, weil er verhindert, dass eine zurückgenommene Änderung zwei Wochen später unverändert wiederkehrt. Öffentlich sichtbar muss davon nichts sein; wir führen den Verlauf für unser eigenes Produkt im Changelog.

• Prüfsumme oder Fassungsnummer der Systemanweisung, nicht nur das Datum der letzten Bearbeitung.
• Liste der Dokumente in der Wissensbasis mit Stand, Anzahl der Abschnitte und Herkunft.
• Werkzeuge samt Rechten: welche Abfrage erlaubt ist und welche Felder zurückkommen.
• Bezeichnung der Modellfassung, mit der die Antworten erzeugt werden.
• Datum, verantwortliche Person und der Grund der Änderung in einem Satz.
• Die Kennung der Fassung, auf die zurückgefallen wird, falls die neue sich nicht bewährt.

Vorschau gegen die echten Testfälle

Eine Vorschau ist die neue Fassung unter demselben Code, an einer Adresse, die nur Ihr Team kennt. Sie ist schnell eingerichtet und wird trotzdem regelmäßig falsch genutzt: Jemand stellt drei Fragen, die Antworten klingen gut, die Fassung geht live. Damit ist geprüft, ob die Änderung das kann, wofür sie gebaut wurde. Die wichtigere Hälfte bleibt ungeprüft, nämlich ob alles andere unverändert geblieben ist. Deshalb läuft gegen die Vorschau derselbe Testfallkatalog, mit dem der Assistent abgenommen wurde, und zwar unverändert. Wie dieser Katalog entsteht, beschreibt unser Beitrag zur Abnahme mit Testfällen.

Hilfreich ist dabei eine Größe, die sich über Fassungen hinweg vergleichen lässt und nicht vom Geschmack der prüfenden Person abhängt. Die Quellenbindung eignet sich dafür gut: der Anteil der Antworten, die eine Angabe der Quelle mitliefern. In unserer eigenen Messreihe trugen 42 von 48 Antworten eine Angabe der Quelle; gezählt wurden Fragen, deren Antwort in der Wissensbasis steht, sechs blieben ohne Quellenangabe. Fällt dieser Anteil in der Vorschau deutlich ab, hat die neue Anweisung dem Modell mehr Freiheit gegeben, als gedacht war, oder der Bestand trägt die Fragen nicht mehr. Beides sieht man an der Zahl früher als an den einzelnen Antworten. Warum die Bindung an Quellen so zentral ist, vertieft unser Beitrag zu Halluzinationen und Wissensbasis.

Schrittweise umschalten statt auf einmal

Der Wechsel von einer Fassung zur nächsten ist kein Schalter, sondern ein Anteil. Zuerst antwortet die neue Fassung nur den eigenen Leuten, danach einem kleinen Teil der Gespräche, dann allen. Der Sinn dieser Staffel ist nicht Vorsicht als Haltung, sondern die schlichte Tatsache, dass die ersten echten Gespräche Dinge zeigen, die kein Katalog enthält. Wer den Anteil klein hält, begrenzt die Zahl der Menschen, die eine misslungene Antwort bekommen, auf eine Größe, die man am selben Tag noch persönlich nacharbeiten kann.

• Zuerst antwortet die neue Fassung den eigenen Leuten, im selben System und nicht auf einer Spielwiese.
• Dann ein kleiner Anteil der Gespräche, zufällig ausgewählt und nicht nach Tageszeit.
• Das Abbruchkriterium steht vorher schriftlich fest: welche Auffälligkeit den Anteil sofort zurücknimmt.
• Der Anteil wächst in Schritten, zwischen denen jemand die Gespräche wirklich liest, statt nur Zahlen anzusehen.
• Jeder Schritt wird mit Uhrzeit, Anteil und Kennung notiert, auch wenn nichts auffällt.
• Die vorherige Fassung bleibt vollständig liegen, bis der letzte Schritt mehrere Tage ruhig gelaufen ist.

Eine Regel wird dabei gern übersehen: Ein laufendes Gespräch bleibt in seiner Fassung. Mitten im Dialog die Anweisung zu wechseln, erzeugt einen Bruch, den der Besucher bemerkt, auch wenn er ihn nicht benennen kann. Die Anrede ändert sich, eine Grenze gilt plötzlich anders, ein zuvor angebotener Weg verschwindet. Die Umstellung greift deshalb ab dem nächsten Gespräch, und die Kennung wird dem Gespräch beim ersten Beitrag fest zugeordnet. Das ist auch für die Auswertung wichtig: Nur so lassen sich zwei Fassungen nebeneinander vergleichen, ohne dass die Gespräche vermischt sind. Was sich aus solchen Auswertungen ablesen lässt, zeigt unser Beitrag zur Gesprächsanalyse.

Woran Sie erkennen, dass die neue Fassung wirklich antwortet

Zwischen geschrieben und ausgeliefert liegen bei einem Assistenten drei Schichten, und jede kann für sich allein auf dem alten Stand stehen bleiben, ohne dass irgendwo ein Fehler gemeldet wird. Das ist der häufigste Grund für die Situation, in der jemand die Änderung ausgerollt hat, der Assistent aber unverändert antwortet und zwei Stunden Suche im falschen Teil des Systems beginnen. Die Suche wird kurz, wenn man die drei Schichten vorher kennt und jede einzeln nachweist.

Aus diesen drei Schichten ergibt sich ein einfacher Nachweis, der keine Werkzeuge braucht. Erstens: Die ausgelieferte Datei im Browser nennt die Kennung der Fassung, geprüft ohne Zwischenspeicher. Zweitens: Das Protokoll des nächsten Gesprächs nennt dieselbe Kennung. Drittens: Eine Frage, deren Antwort sich zwischen alter und neuer Fassung nachweislich unterscheidet, liefert die neue Antwort. Diese dritte Frage sollte man vor dem Umschalten festlegen und nicht danach suchen, sonst findet man verlässlich eine Frage, deren Antwort sowieso stimmt.

Rückfall auf den vorherigen Stand

Der Rückfall ist die Eigenschaft, die schnelles Umschalten überhaupt erst erlaubt. Wer weiß, dass er eine Änderung in Minuten zurücknehmen kann, entscheidet sachlich statt zögerlich. Wer es nicht weiß, verschiebt jede Aktualisierung, bis genug davon zusammengekommen sind, um daraus ein Projekt zu machen. Zwischen diesen beiden Arbeitsweisen liegt kein Unterschied in der Sorgfalt, sondern nur die Frage, ob der vorherige Stand vollständig vorliegt oder aus Einzelteilen neu gebaut werden müsste.

• Der vorherige Stand liegt vollständig vor und wird nicht aus Einzelteilen neu zusammengesetzt.
• Der Rückfall dauert Minuten und braucht nicht die Person, die die Änderung gebaut hat.
• Die Anleitung dazu steht an einem Ort, den auch jemand findet, der sie zum ersten Mal sucht.
• Nach dem Rückfall wird mit denselben drei Nachweisen geprüft, ob wirklich die alte Fassung antwortet.
• Gespräche, Protokolle und Löschfristen fallen nicht zurück; sie gehören zur Zeit, nicht zur Fassung.
• Der Grund des Rückfalls wird notiert, sonst kehrt dieselbe Änderung in zwei Wochen unverändert wieder.

Ein Rückfall ist dabei etwas anderes als ein Notbetrieb. Der Rückfall wechselt die Fassung, während das System vollständig arbeitet. Der Notbetrieb greift, wenn ein Teil der Kette gar nicht antwortet, und reduziert bewusst, was der Assistent noch verantwortet. Beide Wege brauchen eine Entscheidung vorab und beide sollten dieselbe Person auslösen dürfen. Wie sich beide Wege vor dem Livegang durchspielen lassen, beschreibt unser Beitrag zu Abnahme und Testfällen.

Wenn doch ein Wartungsfenster nötig wird

Nicht jede Änderung lässt sich überlappend fahren. Ein Umzug der Daten auf einen anderen Speicher, ein Wechsel der Modellfassung mit anderer Kontextlänge oder ein struktureller Umbau des Suchindex sind Eingriffe, bei denen zwei Fassungen nicht gleichzeitig sauber arbeiten können. Das offen zu benennen ist ehrlicher, als eine Umstellung zu versprechen, die niemand bemerkt. Entscheidend ist dann nicht, ob es ein Fenster gibt, sondern wie es aussieht.

Ein brauchbares Fenster liegt in der nachfragearmen Zeit, die man aus der eigenen Auswertung kennt und nicht aus dem Bauchgefühl. Es wird im Chatfenster angekündigt, bevor es beginnt, es steht auf der Statusseite, und der Weg über das Formular bleibt die ganze Zeit offen. Was dabei nie passieren darf, ist ein Chatfenster, das weiter freundlich antwortet, während die halbe Kette fehlt. Ein Assistent, der in dieser Lage auf das Formular verweist, kostet weniger als einer, der rät.

Was die Kennung rechtlich wert ist

Die Versionierung ist zunächst ein Arbeitsmittel, sie berührt aber zwei Pflichten unmittelbar. Die erste ist die Rechenschaftspflicht der Datenschutz-Grundverordnung. Sie verlangt nicht nur, dass Verarbeitung rechtmäßig ist, sondern dass der Verantwortliche das nachweisen kann. Wer nicht sagen kann, welche Anweisung und welche Werkzeugrechte zu einem bestimmten Zeitpunkt galten, kann über die Verarbeitung in diesem Zeitraum auch keine belastbare Auskunft geben.

Die zweite Pflicht betrifft die Kennzeichnung. Nach Artikel 50 Absatz 1 der KI-Verordnung müssen Systeme, die direkt mit Menschen interagieren, so gestaltet sein, dass die Personen erfahren, dass sie mit einer KI sprechen. Für eine Aktualisierung heißt das etwas sehr Konkretes: Eine neu geschriebene Systemanweisung kann den Satz, der die Kennzeichnung trägt, verlieren, ohne dass es jemandem auffällt. Deshalb gehört ein Testfall zur Kennzeichnung in jede Fassung, nicht nur in die erste. Er kostet zwei Minuten. Die Einordnung der Pflicht liefert unser Beitrag zur Kennzeichnungspflicht.

Eine dritte Lage verdient Aufmerksamkeit, auch wenn sie seltener vorkommt: Eine Änderung, die dem Assistenten neue Felder aus einem angebundenen System zugänglich macht, ist mehr als eine Aktualisierung. Sie erweitert, welche Daten überhaupt in ein Gespräch gelangen können. Solche Änderungen gehören nicht in dieselbe Schublade wie ein neuer Absatz im Anweisungstext, sondern werden vorher geprüft, im Zweifel rechtlich. Welche Rechte ein Werkzeug bekommt und wie eng man sie schneidet, behandelt unser Beitrag zur Werkzeugsteuerung.

So gehen wir bei einer Aktualisierung vor

Wir behandeln eine Änderung am Assistenten wie eine Änderung an einer Anwendung, weil sie genau das ist. Die vier Schichten werden zu einer Fassung gebündelt und bekommen eine Kennung, bevor irgendetwas umgeschaltet wird. Was der Assistent inhaltlich sagen darf, kommt aus Ihrer freigegebenen Wissensbasis; was er abfragen darf, steht in der Tool-Steuerung mit klar umrissenen Rechten. Beides wird gemeinsam versioniert, weil eine neue Anweisung auf altem Bestand etwas anderes ist als auf neuem.

• Jede Fassung bündelt Anweisung, Wissensbasis, Werkzeugrechte und Modellstand unter einer Kennung.
• Die Vorschau läuft gegen den unveränderten Testfallkatalog aus der Abnahme, nicht gegen drei Stichproben.
• Umgeschaltet wird in Schritten, mit vorher festgelegtem Abbruchkriterium und notierter Uhrzeit.
• Die neue Fassung gilt als ausgeliefert, wenn Skript, Protokoll und eine Unterscheidungsfrage sie bestätigen.
• Der Rückfall auf die vorherige Fassung ist in Minuten möglich und wird regelmäßig geübt.
• Fällt ein Wartungsfenster an, wird es angekündigt, und der Weg über das Formular bleibt offen.

Eine ehrliche Einordnung gehört dazu: Ein versioniertes Vorgehen senkt das Risiko einer misslungenen Aktualisierung, es hebt es nicht auf. Eine Fassung kann alle Testfälle bestehen und trotzdem in der ersten Woche eine Frage bekommen, an die niemand gedacht hat. Genau deshalb sind die Staffel, der Rückfall und das Lesen der ersten echten Gespräche Teil des Verfahrens und nicht Beiwerk. Wenn Sie einen Assistenten neu aufsetzen lassen wollen, ist der Weg dorthin im Beitrag Von der Idee zum Assistenten beschrieben; für eine Einschätzung Ihres Falls genügt ein Gespräch.

Häufige Fragen