Drosselung im Chat: wie viele Anfragen je Besucher?

Zwölf Fragen in einer Minute stellt kein Mensch. Ein Skript schafft sie in zwei Sekunden, und genau darum steht vor jedem öffentlich erreichbaren KI-Assistenten ein Deckel: eine Zahl, die sagt, wie viele Anfragen ein einzelner Besucher in einem Zeitfenster stellen darf. Solange die Zahl richtig gewählt ist, bekommt sie niemand zu sehen. Steht sie zu niedrig, bremst sie den Kunden, der schnell tippt, und nicht den Angreifer, der gar nicht tippt. Dieser Beitrag beschreibt, woraus sich ein solcher Deckel begründen lässt, warum es zwei verschiedene braucht - einen je Besucher und einen je Mandant -, was ein Besucher beim Anschlagen sehen sollte und warum ein Hinweis auf eine Wartezeit im Gespräch besser aufgehoben ist als eine Fehlermeldung. Die genannten Werte stammen aus unserer eigenen Konfiguration und Messreihe, nachzulesen unter Messreihen.

Grafik vergrößern

Beschriftungen der Abbildung

• Ein Zeitfenster je Besucher: zwölf Anfragen, die dreizehnte wartet
• Fenster: eine Minute
• Deckel erreicht
• Zwölf Anfragen gehen durch, rechnerisch eine alle fünf Sekunden
• Die dreizehnte bekommt einen Wartehinweis
• Deckel je Besucher
• Wirkt gegen: Dauerfeuer eines Einzelnen
• Zählt je Besucher und Assistent, Fenster eine Minute
• Beim Anschlagen: Wartehinweis im Gespräch
• Bremst einen Einzelnen, ohne die anderen zu treffen.
• Deckel je Mandant
• Wirkt gegen: Kosten und Überlast im ganzen Konto
• Zählt über alle Besucher eines Assistenten
• Beim Anschlagen: Meldung an den Betreiber
• Schützt das Konto vor einer Welle, die niemand bestellt hat.
• Eigene Konfiguration: 12 Anfragen je Minute je Besucher und Assistent
• Der Deckel begrenzt das Tempo, er sagt nichts über die Menge am Tag

Drosselung: zwei Deckel, zwei Aufgaben

Wogegen ein Deckel überhaupt hilft

Ein Chat-Assistent auf einer öffentlichen Seite hat eine Schnittstelle, die jeder erreichen kann, der die Seite aufruft. Das ist kein Versehen, sondern die Bedingung dafür, dass ein Besucher ohne Anmeldung eine Frage stellen kann. Die Kehrseite: Diese Schnittstelle kann von sich aus nicht unterscheiden, ob am anderen Ende ein Interessent sitzt, der wissen möchte, ob eine Lieferung noch vor dem Wochenende ankommt, oder ein Programm, das im Sekundentakt Texte erzeugen lässt. Beide schicken eine gültige Frage an dieselbe Adresse. Was sie unterscheidet, ist nicht der Inhalt, sondern das Tempo und die Menge.

Genau an dieser Stelle setzt eine Drosselung an. Sie beurteilt nicht, was jemand fragt - das ist Aufgabe der Systemanweisung und der Wissensbasis -, sondern nur, wie oft er fragt. Damit ist sie die einzige Schutzschicht, die wirkt, bevor eine Anfrage überhaupt Kosten verursacht. Alles, was inhaltlich prüft, muss die Anfrage erst annehmen, verarbeiten und dann verwerfen. Der Deckel lehnt sie ab, solange sie noch nichts gekostet hat. Er ersetzt keine der anderen Schichten, aber er ist die billigste von allen.

Die Zahl begründen, nicht raten

Ein Deckel ohne Begründung ist eine Zahl, die jemand einmal eingetragen hat und die danach niemand mehr anfassen möchte, weil keiner weiß, was passiert, wenn man sie ändert. Genau deshalb lohnt es sich, die Herleitung einmal aufzuschreiben - sie passt in drei Sätze und macht aus einer Einstellung eine Entscheidung, über die man später sprechen kann.

Der Ausgangspunkt ist das menschliche Tempo. Ein Besucher schickt eine Frage, wartet auf die Antwort, liest sie und formuliert die nächste. Schon die Antwort selbst kostet Zeit: In unserer eigenen Messreihe lag die Zeit bis zum ersten Zeichen der Antwort im Median bei 1,3 s, bei einer Abdeckung von 64 Fragen an den eigenen Assistenten, nicht an Kundenprojekten. Dazu kommt die Zeit, bis die Antwort vollständig dasteht, und die Zeit zum Lesen. Wer in dieser Schleife bleibt, kommt selbst bei kurzen Antworten und schnellem Tippen kaum unter einige Sekunden je Runde. Ein Deckel, der deutlich darüber liegt, lässt jedes echte Gespräch durch und trifft nur, was kein Gespräch mehr ist.

Auf dieser Grundlage steht in unserer eigenen Konfiguration ein Deckel je Besucher auf der öffentlichen Widget-Schnittstelle von 12 Anfragen je Minute. Er gilt je Besucher und Assistent; daraus folgt rechnerisch eine Frage alle fünf Sekunden. Die Zahl ist damit rund doppelt so hoch wie das, was ein zügig arbeitender Mensch im Gespräch erreicht - Luft für den Fall, dass jemand eine Antwort abbricht und sofort neu fragt, aber zu wenig für ein Skript, das nichts liest. Dass diese Grenze real ist und nicht nur auf dem Papier steht, merkt man an der eigenen Messstrecke: Sie wartet zwischen zwei Fragen 5,5 Sekunden und hält damit bewusst Abstand zur eigenen Bremse.

• Tempo des Gesprächs: Wie lange dauert eine Runde aus Frage, Antwort, Lesen und nächster Frage? Der Deckel gehört oberhalb dieses Werts, mit Abstand.
• Verhalten beim Abbruch: Bricht jemand eine lange Antwort ab und fragt sofort neu, entstehen in kurzer Folge mehrere Anfragen. Das muss der Deckel aushalten.
• Länge des Fensters: Eine Minute ist ein guter Kompromiss. Ein Fenster von einer Sekunde trifft jede Ungeduld, ein Fenster von einer Stunde merkt einen Angriff erst, wenn er durch ist.
• Was beim Anschlagen passiert: Eine Wartezeit ist etwas anderes als eine Absage. Wer nur die Zahl festlegt und nicht die Reaktion, hat die Hälfte der Entscheidung offengelassen.
• Wer den Deckel ändern darf: Eine Zahl, die im Vorbeigehen verstellt werden kann, ist keine Schutzmaßnahme. Die Änderung gehört an dieselbe Stelle wie jede andere Konfiguration, mit Datum und Grund.

Zwei Deckel: je Besucher und je Mandant

Ein Deckel je Besucher bremst genau einen. Das ist gewollt und in den meisten Fällen genug. Er hilft aber nicht gegen den Fall, dass viele verschiedene Kennungen gleichzeitig fragen - sei es, weil eine Kampagne unerwartet gut läuft, sei es, weil jemand die Anfragen absichtlich über viele Sitzungen verteilt. Jede einzelne bleibt dann sauber unter der Grenze, und in der Summe entsteht trotzdem eine Last, die niemand vorgesehen hat. Deshalb braucht es einen zweiten Deckel auf einer anderen Ebene: je Mandant, also je Konto und Assistent.

Der Unterschied ist nicht nur technisch, er ist auch organisatorisch. Der Deckel je Besucher ist eine Entscheidung über Bedienung: Er darf den Kunden nicht stören. Der Deckel je Mandant ist eine Entscheidung über Geld und Betrieb: Er darf nicht so hoch stehen, dass ein Zwischenfall erst in der nächsten Abrechnung auffällt, und nicht so niedrig, dass ein guter Tag im Weihnachtsgeschäft als Störung endet. Wer zu Anfragespitzen im Saisongeschäft plant, plant beide Zahlen mit.

Was der Besucher beim Anschlagen sieht

Eine Drosselung ist im Kern eine Absage: Die Anfrage wird nicht beantwortet. Auf der technischen Ebene ist das ein Statuscode, auf der menschlichen Ebene ein Moment der Verunsicherung. Der Besucher weiß nicht, ob er etwas falsch gemacht hat, ob die Seite kaputt ist oder ob seine Frage unerwünscht war. Die Meldung entscheidet, welche der drei Deutungen er mitnimmt.

Die schlechteste Variante ist der rote Kasten mit einer Fehlernummer. Er sagt dem Besucher, dass etwas kaputt ist, und das stimmt nicht: Es funktioniert alles, er ist nur zu schnell. Die zweitschlechteste Variante ist gar nichts - das Eingabefeld bleibt stehen, die Antwort kommt nie, und der Besucher probiert es noch dreimal, was den Zähler weiter hochtreibt. Was bleibt, ist eine ruhige Zeile im Gespräch selbst, an derselben Stelle, an der sonst die Antwort steht.

• Sie steht im Gespräch, nicht in einem Fenster darüber. Der Besucher soll den Verlauf weiter sehen.
• Sie sagt, dass nichts kaputt ist. Ein Satz genügt: gerade zu viele Fragen in kurzer Zeit.
• Sie nennt eine Wartezeit, und zwar eine konkrete. „In wenigen Sekunden geht es weiter“ ist brauchbar, „Versuchen Sie es später erneut“ nicht.
• Sie zeigt einen anderen Weg: das Kontaktformular, die Telefonnummer oder die Übergabe an einen Menschen.
• Sie wiederholt sich nicht bei jedem weiteren Versuch, sondern ersetzt die vorherige Zeile. Vier gleiche Warnungen untereinander lesen sich wie ein Defekt.
• Sie löscht die getippte Frage nicht. Wer seinen Text neu schreiben muss, geht eher weg, als dass er wartet.

Warteschlange statt Fehlermeldung

Zwischen „Antwort kommt sofort“ und „Anfrage abgelehnt“ liegt ein dritter Zustand, der im Gespräch fast immer die bessere Wahl ist: Die Anfrage wird angenommen und wartet. Technisch heißt das, dass eine Anfrage über dem Deckel nicht verworfen, sondern in eine kurze Warteschlange gelegt wird, die sich innerhalb weniger Sekunden leert. Für den Besucher sieht das aus wie eine Antwort, die etwas länger braucht - eine Erfahrung, die er kennt und die ihn nicht beunruhigt.

Der Grund, warum das funktioniert, steckt in den Größenordnungen. In unserer eigenen Messreihe lag die Zeit bis zum ersten Zeichen der Antwort im Median bei 1,3 s, gemessen an 64 Fragen an den eigenen Assistenten. Ein Besucher, der hin und wieder statt 1,3 Sekunden vier Sekunden wartet, erlebt eine langsamere Antwort, keine Störung. Ein Besucher, der stattdessen eine Fehlermeldung bekommt, erlebt einen Ausfall - obwohl er objektiv weniger lange warten musste. Wer die Zeiten seines eigenen Assistenten nicht kennt, kann diese Abwägung nicht treffen; der Weg dorthin steht in Antwortzeit messen statt schätzen.

Echte Lastspitze oder Angriff

Beide erzeugen dieselbe Kurve im Diagramm: Die Zahl der Anfragen geht nach oben. Beide verlangen aber das Gegenteil voneinander. Auf eine echte Spitze antwortet man, indem man Luft schafft - höhere Grenzen, mehr Kapazität, im Zweifel ein zusätzlicher Mensch im Support. Auf einen Angriff antwortet man, indem man zumacht. Wer die beiden verwechselt, drosselt am Tag der besten Nachfrage oder zahlt für eine Welle, die nichts einbringt.

Damit diese Unterscheidung überhaupt möglich ist, muss die Drosselung mitschreiben, wen sie wann gebremst hat. Ein Zähler, der nur eine Zahl kennt, sagt am Tag danach nicht, ob sie sich auf dreißig Besucher oder auf einen verteilt hat. Festgehalten gehören mindestens der Zeitpunkt, die Kennung in gekürzter Form, der betroffene Assistent und ob der Deckel je Besucher oder der je Mandant gegriffen hat. Damit lässt sich die Frage in wenigen Minuten beantworten, statt sie zu diskutieren. Wie die Übergabe an einen Menschen in dieser Lage aussieht, steht in Übergabe an Mitarbeiter.

Belastbarkeit ist eine Pflicht, keine Kür

Eine Drosselung wird gern als Betriebsdetail behandelt, das man einrichtet, wenn Zeit bleibt. Das Datenschutzrecht sieht das anders: Verfügbarkeit und Belastbarkeit der Systeme stehen dort ausdrücklich unter den Schutzzielen, für die technische und organisatorische Maßnahmen zu treffen sind. Ein Chat-Assistent verarbeitet personenbezogene Daten, sobald jemand eine Frage mit einem Namen, einer Bestellnummer oder einer Adresse stellt - und damit gilt die Vorschrift auch für ihn.

Der Satz nennt kein Verfahren und keine Zahl - er verlangt eine Fähigkeit. Eine Drosselung ist eine der wenigen Maßnahmen, mit denen sich diese Fähigkeit belegen lässt, ohne dass man sie beschreiben muss: Sie steht in der Konfiguration, sie hat einen Wert, und sie hinterlässt Spuren, wenn sie gegriffen hat. Für die Dokumentation nach Artikel 32 ist das erheblich mehr wert als eine Absichtserklärung. Wo die Verarbeitung selbst geregelt ist und wer sie im Auftrag ausführt, gehört in denselben Ordner; die Zuordnung beschreibt Datenschutz und Hosting.

Wo ein pauschaler Deckel stört

Eine einzige Zahl für alle Fälle ist bequem und in einigen Lagen falsch. Nicht jede Anfrage an einen Assistenten ist eine Frage eines Besuchers, und nicht jeder Besucher verhält sich wie der Durchschnitt. Wer den Deckel einmal festlegt und danach nie wieder ansieht, bekommt die Rechnung an genau den Stellen, an denen der Assistent eigentlich Geld verdienen sollte.

• Der eingeloggte Bereich: Ein angemeldeter Kunde ist bekannt, sein Verhalten ist zurechenbar, und er fragt oft in schneller Folge nach Bestellungen. Dort gehört ein eigener, höherer Deckel hin.
• Interne Nutzung: Ein Assistent, mit dem Mitarbeiter arbeiten, läuft anders als einer auf der Startseite. Schnelle Folgefragen sind hier der Normalfall, nicht die Ausnahme.
• Angebundene Werkzeuge: Ruft der Assistent während einer Antwort selbst Daten ab, entstehen mehrere Vorgänge aus einer einzigen Frage. Wer beides in denselben Zähler legt, drosselt sich selbst.
• Barrierefreie Bedienung: Wer über Spracheingabe oder Hilfsmittel arbeitet, korrigiert häufiger und sendet dadurch öfter. Ein knapper Deckel trifft hier zuerst die, die ihn am wenigsten verdient haben.
• Die Abnahmephase: Ein Testlauf vor dem Livegang schickt absichtlich viele Fragen in kurzer Zeit. Ohne eigenen Zugang dafür misst man am Ende die eigene Bremse statt des Assistenten.

Was in der Auswertung stehen muss

Eine Drosselung, die niemand ansieht, ist eine Einstellung ohne Rückmeldung. Sie kann seit Monaten jeden zweiten Kunden bremsen, ohne dass es auffällt, denn wer gebremst wurde, beschwert sich selten - er geht. Deshalb gehören ein paar Größen in denselben Bericht, in dem die übrigen Zahlen zum Assistenten stehen, und zwar mit Datum.

Aus diesen drei Größen ergibt sich die Entscheidung von selbst. Greift der Deckel selten und verteilt auf wenige Kennungen, die danach verschwinden, arbeitet er wie vorgesehen. Greift er häufig und verteilt auf viele Besucher, die anschließend das Fenster schließen, ist er zu niedrig und kostet Anfragen. Greift er gar nicht, ist er entweder großzügig gesetzt oder er zählt an der falschen Stelle - beides sollte man wissen, bevor es jemand anderes herausfindet. Welche Auswertungen sonst noch zum Betrieb gehören, beschreibt die Gesprächsanalyse. Wie eine Messung aussieht, die solche Grenzen offenlegt, statt sie zu verdecken, zeigen unsere Messreihen.

Häufige Fragen