Antwortzeit im KI-Chat messen statt schätzen

Wie schnell ist Ihr Assistent? Die ehrliche Antwort auf diese Frage ist selten eine einzelne Zahl. Ein Besucher erlebt nicht eine Antwortzeit, sondern mehrere: die Zeit, bis das erste Zeichen auf dem Bildschirm steht, die Zeit, bis die Antwort vollständig dasteht, und darin verborgen die Zeit, die die Suche in der Wissensbasis braucht. Wer diese drei zu einem Wert verrührt, bekommt eine Zahl, die sich gut vorlesen lässt und nichts steuert. Häufiger noch fehlt die Messung ganz: eine Sekunde klingt plausibel, also steht eine Sekunde auf der Folie. Dieser Beitrag beschreibt, welche Zeiten sich an einem KI-Assistenten überhaupt messen lassen, warum der Mittelwert davon der irreführendste ist, was Median und 95. Perzentil stattdessen zeigen und woran Sie eine Angabe erkennen, hinter der keine Messreihe steht. Die Zahlen in diesem Text stammen aus unserer eigenen Reihe gegen unseren eigenen Assistenten, nachzulesen unter Messreihen.

Grafik vergrößern

Beschriftungen der Abbildung

• Ablauf einer Antwort: wo die Zeit entsteht
• erstes Zeichen
• vollständige Antwort
• Frage geht raus
• Wissenssuche
• Modell setzt an
• Antwort wird geschrieben
• Verteilung statt Mittelwert
• Median
• Mittelwert
• 95. Perzentil
• Ausreißer
• Der Mittelwert wandert mit dem Ausreißer, der Median bleibt.
• Ohne diese drei Angaben keine Aussage
• Messpunkt: erstes Zeichen oder vollständige Antwort
• Kennzahl: Median, 95. Perzentil oder Mittelwert
• Umfang: wie viele Fragen, welcher Zeitraum, welches Netz
• Fehlt eine davon, ist die Zahl nicht nachprüfbar.
• Eigene Messreihe: 1,3 s bis zum ersten Zeichen der Antwort, Median
• 64 Fragen an den eigenen Assistenten, nicht an Kundenprojekten

Antwortzeit messen statt schätzen

Drei Zeiten, die ein Besucher tatsächlich erlebt

Im Gespräch mit einem Assistenten passieren nacheinander mehrere Dinge, und der Besucher merkt von den meisten nichts. Er tippt eine Frage, drückt auf Senden und wartet. Was er wahrnimmt, ist zuerst eine Leere: das Eingabefeld ist weg, es steht noch nichts da. Diese Leere endet mit dem ersten Zeichen der Antwort. Danach beginnt eine ganz andere Wahrnehmung, nämlich Lesen, und Lesen fühlt sich nicht mehr wie Warten an, selbst wenn der Text noch eine Weile weiterläuft. Genau deshalb ist die Zeit bis zum ersten Zeichen der wichtigste Messpunkt und nicht die Gesamtdauer. Eine Antwort, die nach einer Sekunde beginnt und fünf Sekunden lang weiterschreibt, wird als schnell erlebt. Eine Antwort, die nach vier Sekunden vollständig auf einmal erscheint, wird als langsam erlebt, obwohl sie früher fertig ist.

Diese Unterscheidung ist keine Spitzfindigkeit, sondern entscheidet, welche Zahl Sie überhaupt messen sollten. Wer erst am Ende der Antwort die Stoppuhr drückt, misst zwangsläufig die Länge der Antwort mit. Eine ausführliche, gut belegte Auskunft steht dann schlechter da als ein knapper Halbsatz, obwohl sie mehr wert ist. Umgekehrt verbirgt die reine Zeit bis zum ersten Zeichen, wenn eine Antwort danach quälend langsam nachtropft. Sinnvoll ist deshalb, beide Zeiten getrennt zu erheben und getrennt zu betrachten. Wie ein Assistent überhaupt in die Seite kommt und welche Wege dabei entstehen, beschreibt der Beitrag zur Einbindung in Website und Shop.

Warum ein Mittelwert den Ausreißer versteckt

Der Mittelwert ist die Kennzahl, die jeder kennt, und die einzige der üblichen, die ein einzelner Wert beliebig weit verschieben kann. Nehmen Sie zwanzig Antworten, von denen neunzehn schnell kommen und eine nach einer sehr langen Wartezeit. Der Mittelwert steigt spürbar, obwohl neunzehn von zwanzig Besuchern nichts davon gemerkt haben. Ebenso funktioniert es in die andere Richtung: Ein Schwung sehr kurzer Antworten drückt den Mittelwert nach unten und lässt eine Reihe gut aussehen, in der es einzelne Ausreißer gab. In beiden Fällen beschreibt die Zahl niemandes Erlebnis. Sie beschreibt eine Summe geteilt durch eine Anzahl, und ein Besucher erlebt weder Summen noch Anzahlen.

Der Median löst dieses Problem, weil er nicht rechnet, sondern sortiert. Man legt alle gemessenen Zeiten der Größe nach nebeneinander und nimmt die Zeit in der Mitte. Die Hälfte der Antworten war schneller, die Hälfte langsamer. Ein einzelner extremer Wert am Rand verschiebt diese Mitte kaum, weil er nur ein Platz in der Reihe ist und nicht ein Gewicht in einer Summe. Genau deshalb ist der Median die Zahl, die man einem Kunden nennt, wenn man beschreiben will, was er im Regelfall erlebt. Was er nicht beschreibt, ist der Rand: Wer nur den Median kennt, weiß nichts über die Fälle, in denen es lange dauerte.

Median, 95. Perzentil und das Maximum

Das 95. Perzentil beantwortet die Frage, die der Median offenlässt: Wie lange dauerte es in den ungünstigen Fällen? Es ist der Wert, unter dem neunzehn von zwanzig Antworten geblieben sind. Anders gesagt: Ein Zwanzigstel der Besucher hat länger gewartet als diese Zahl. Das ist die Größe, an der sich Beschwerden festmachen, denn wer sich über Langsamkeit ärgert, gehört fast immer zu diesem Zwanzigstel. Median und 95. Perzentil zusammen beschreiben eine Verteilung ausreichend genau für jede Entscheidung, die in einem Mittelstandsprojekt anfällt. Liegen beide nah beieinander, läuft der Assistent gleichmäßig. Klaffen sie weit auseinander, gibt es einen Fall, der regelmäßig aus der Reihe fällt, und den sollte man suchen.

• Median: die Mitte der sortierten Reihe. Die Hälfte der Antworten war schneller, die Hälfte langsamer.
• 95. Perzentil: der Wert, unter dem neunzehn von zwanzig Antworten blieben. Die Größe für den ungünstigen Fall.
• Maximum: der längste einzelne Fall der Reihe. Ein Hinweis, kein Steuerwert.
• Minimum: der kürzeste einzelne Fall. Als Werbewert beliebt, für den Betrieb ohne Aussage.
• Zahl der Fragen und Zeitraum: ohne beides ist jede der vier Zahlen eine Anekdote.

Wichtig ist, dass diese Kennzahlen aus derselben Reihe stammen. Ein Median aus dem Vormittag und ein 95. Perzentil aus der Nacht ergeben zusammen kein Bild, sondern eine Verwechslung. Ebenso wenig darf man Kennzahlen mischen, die an verschiedenen Messpunkten entstanden sind: ein Median bis zum ersten Zeichen neben einem Maximum bis zur vollständigen Antwort sieht nach einem Ausreißer aus, wo nur zwei verschiedene Dinge gemessen wurden. Halten Sie darum jede Zahl mit ihrem Messpunkt zusammen, so wie eine Temperatur ohne Einheit unbrauchbar ist.

Wo die Zeit im Ablauf entsteht

Eine Antwort entsteht in Abschnitten, und jeder Abschnitt hat seine eigene Dauer. Zuerst verlässt die Frage den Browser und trifft auf dem Server ein. Dann wird in der Wissensbasis gesucht, welche Abschnitte zur Frage passen. Unsere eigene Wissensbasis umfasst 2 670 Abschnitte aus 70 Dokumenten; diese Zahl gilt für den Bestand des Assistenten, der auf unserer Seite antwortet. Ob die Suche in einem solchen Bestand spürbar Zeit kostet, hängt weniger an der Menge als am Zuschnitt: zu große Abschnitte liefern unscharfe Treffer, zu kleine zerreißen den Zusammenhang und zwingen dazu, mehr davon einzusammeln. Anschließend setzt das Modell an zu formulieren, und in diesem Moment fällt das erste Zeichen.

Danach hängt die Dauer vor allem an der Länge der Antwort und an der Menge an Zusammenhang, die dem Modell mitgegeben wurde. Ein langer Verlauf, viele mitgelieferte Abschnitte und ausführliche Vorgaben verlängern jeden einzelnen Schritt. Am Ende steht die Darstellung im Fenster, und auch die kostet Zeit, wenn das Widget erst geladen werden muss, sobald jemand darauf klickt. Diese letzte Spanne taucht in keiner serverseitigen Messung auf und wird deshalb regelmäßig übersehen. Sie gehört aber zu dem, was der Besucher erlebt, und deshalb in die Messung. Warum eine Antwort nicht nur schnell, sondern auch an die eigenen Inhalte gebunden sein muss, behandelt der Beitrag zu Halluzinationen und Wissensbasis.

Ohne Messreihe keine Aussage

Die häufigste Zeitangabe in Unterlagen über Assistenten ist geschätzt. Sie entsteht so: Jemand öffnet das Fenster, tippt eine Frage, findet es schnell und schreibt eine Sekunde auf. Diese Zahl hat drei Probleme. Sie beruht auf einem einzigen Versuch, sie stammt meist aus dem eigenen Netz und oft vom selben Standort wie der Server, und sie nennt keinen Messpunkt. Später steht sie im Angebot, im Handbuch und irgendwann auf der Website, und niemand kann mehr sagen, worauf sie sich bezog. Der Weg heraus ist keine größere Messtechnik, sondern eine kurze, wiederholbare Reihe mit festgelegtem Ablauf.

Sobald eine solche Angabe nach außen geht, ist sie zudem eine Aussage über ein Merkmal der Leistung. Paragraf 5 Absatz 1 des Gesetzes gegen den unlauteren Wettbewerb bestimmt: "Unlauter handelt, wer eine irreführende geschäftliche Handlung vornimmt, die geeignet ist, den Verbraucher oder sonstigen Marktteilnehmer zu einer geschäftlichen Entscheidung zu veranlassen, die er andernfalls nicht getroffen hätte." Eine Zeitangabe, die niemand gemessen hat, ist genau das Risiko, das dieser Satz beschreibt. Wer sie stattdessen mit Messpunkt, Kennzahl und Umfang versieht, macht aus einer Behauptung eine überprüfbare Angabe, und die lässt sich verteidigen.

• Den Messpunkt: erstes Zeichen oder vollständige Antwort
• Die Kennzahl: Median, 95. Perzentil, Mittelwert oder Maximum
• Die Zahl der Fragen und den Zeitraum der Reihe
• Den Geltungsbereich: welcher Assistent auf welcher Wissensbasis
• Den Weg der Messung: über die öffentliche Schnittstelle oder intern
• Was ausgeschlossen wurde: Aufwärmläufe, Wiederholungen, Fehlversuche

Welche Fristen wirklich gelten

Für die Dauer einer Chat-Antwort gibt es keine gesetzliche Vorgabe. Das heißt nicht, dass rund um einen Assistenten keine Fristen laufen; sie hängen nur an anderen Vorgängen. Sobald ein Assistent personenbezogene Daten verarbeitet, und das tut er schon mit dem Gesprächsverlauf, greifen die Fristen der Datenschutz-Grundverordnung. Fragt eine betroffene Person nach ihren Daten aus dem Chat, läuft ab Eingang des Antrags eine harte Frist, und die beträgt nicht Sekunden, sondern einen Monat.

Eine zweite Frist steht in Artikel 33 Absatz 1 DSGVO: Eine Verletzung des Schutzes personenbezogener Daten ist der zuständigen Aufsichtsbehörde unverzüglich und möglichst binnen 72 Stunden zu melden, nachdem sie bekannt wurde. Wer Gesprächsverläufe speichert, sollte diese Frist kennen, bevor er sie braucht. Aus der KI-Verordnung, der Verordnung (EU) 2024/1689, lässt sich zur Antwortdauer nichts ableiten, wohl aber ein nützlicher Maßstab: Artikel 15 Absatz 3 verlangt für Hochrisiko-Systeme, dass Genauigkeitsgrade und die relevanten Metriken in der Gebrauchsanweisung angegeben werden, und Artikel 72 verlangt eine Beobachtung nach dem Inverkehrbringen. Ein Chat-Assistent auf einer Unternehmensseite fällt in aller Regel nicht unter die Hochrisiko-Einstufung. Der Gedanke dahinter taugt trotzdem: eine Kennzahl benennen und sie im Betrieb weiter beobachten.

Wie wir messen, ohne uns selbst zu täuschen

Unsere Reihe läuft über dieselbe öffentliche Schnittstelle, die auch ein Widget auf einer Kundenseite benutzt. Das ist die erste und wichtigste Entscheidung: Wer intern an der Anwendung vorbei misst, lässt genau die Wege weg, die im Betrieb Zeit kosten. Jede Frage bekommt ein eigenes Gespräch, damit kein wachsender Verlauf mitgemessen wird, denn mit jeder weiteren Frage im selben Fenster würde ein größerer Zusammenhang mitlaufen und die Reihe mäße etwas anderes als am Anfang. Zwischen den Fragen liegt eine Pause; ohne sie würde ab einer bestimmten Frage nur noch die eigene Drosselung gemessen.

• Jede Frage in einem eigenen Gespräch, damit kein Verlauf mitgemessen wird
• Zeitstempel beim Absenden, beim ersten Zeichen und beim letzten Zeichen
• Eine Pause zwischen den Fragen, damit die Drosselung nicht die Messung wird
• Fragen innerhalb und außerhalb der Wissensbasis in derselben Reihe
• Der Antworttext wird mitgeschrieben, damit eine schnelle falsche Antwort nicht als Erfolg zählt
• Median, 95. Perzentil, Minimum und Maximum aus derselben Reihe, nicht aus verschiedenen

Der letzte Punkt ist der, der am häufigsten fehlt. Eine Antwortzeit ohne Blick auf den Inhalt belohnt genau das falsche Verhalten: Ein Assistent, der bei jeder schwierigen Frage sofort einen kurzen Standardsatz ausgibt, gewinnt jede reine Zeitmessung. Deshalb gehört zu jeder Zeitreihe eine zweite Spalte, in der steht, ob die Antwort belegt war und ob eine ungedeckte Frage bei einem Menschen gelandet ist. Wie diese Übergabe sauber abläuft, beschreibt der Beitrag zur Übergabe an Mitarbeiter; wie sich der Katalog der Testfragen aufbauen lässt, zeigt der Beitrag zu Abnahme und Testfällen.

Was die Zahl im Betrieb steuert

Eine gemessene Zahl ist nur dann etwas wert, wenn sie eine Entscheidung auslöst. Drei Verwendungen haben sich bewährt, und alle drei setzen voraus, dass die Zahl aus einer laufenden Reihe stammt und nicht aus einer einmaligen Messung vor dem Livegang. Der Median wird zur Beobachtungsgröße, das 95. Perzentil zur Schwelle, und beide zusammen sagen, wann eine Veränderung an der Wissensbasis oder am Umfang der Vorgaben sich tatsächlich ausgewirkt hat und wann nur das Gefühl gewechselt hat.

Damit die Reihe nicht einschläft, gehört sie in einen festen Rhythmus: vor dem Livegang einmal vollständig, nach jeder größeren Änderung an der Wissensbasis erneut und danach regelmäßig. Welche Fragen tatsächlich gestellt werden und wo die Antworten hinterherhinken, zeigt die anonymisierte Gesprächsanalyse; den laufenden Zustand des Betriebs zeigt die Seite Status. Wie sich der Fall, in dem der Assistent gar nicht antwortet, vorab durchspielen lässt, behandelt der Beitrag zu Abnahme und Testfällen.

Grenzen: was eine Messung nicht sagt

Eine Messreihe beschreibt einen Assistenten auf einer Wissensbasis in einem Zeitraum über eine bestimmte Zahl von Fragen. Mehr sagt sie nicht. Sie lässt sich nicht auf ein anderes Projekt übertragen, weil dort andere Inhalte, andere Fragen und ein anderer Netzweg zusammenkommen. Sie sagt auch nichts über morgen: Ein Modellwechsel, ein gewachsener Bestand oder eine geänderte Vorgabe verschieben die Verteilung, und dann gilt die alte Zahl nicht mehr. Und sie sagt nichts über die Qualität der Antwort. Eine schnelle falsche Auskunft ist schlechter als eine langsame richtige. Deshalb steht die Zeitmessung bei uns neben der Frage, ob die Antwort aus der Wissensbasis belegt war. Und weil Wartezeit nicht für alle gleich wirkt, gehört auch die Barrierefreiheit in diese Betrachtung: Wer mit einer Vorlesehilfe arbeitet, erlebt einen langsam einlaufenden Text anders als jemand, der ihn überfliegt. Wie unsere eigene Reihe aufgebaut ist, welche Fragen sie stellt und wo sie aufhört, steht unter Messreihen; daneben lassen sich Ihre eigenen Zahlen legen.

Häufige Fragen