Ablehnen statt raten: wann ein Assistent schweigt

Ein Assistent, der auf jede Frage etwas sagt, ist kein guter Assistent, sondern ein unvorsichtiger. Die schwierigste Antwort ist die, die keine Antwort ist: „Dazu liegt mir nichts vor.“ Sie fühlt sich wie ein Versagen an, ist aber eine gebaute Funktion – und zwar diejenige, die darüber entscheidet, ob ein Besucher den Angaben im Chat trauen kann. Dieser Beitrag beschreibt, ab welcher Quellenlage ein Assistent antworten darf, wie eine Ablehnung formuliert wird, die den Besucher weiterbringt, warum eine fehlende Auskunft etwas anderes ist als eine unzulässige Frage, und wie man Ablehnungen zählt, statt sie zu vermuten.

Grafik vergrößern

Beschriftungen der Abbildung

• Lage der Quellen
• Was der Assistent tut
• Sichtbare Spur im Protokoll
• Klarer Treffer
• Die Antwort steht so im Bestand.
• Antworten, Fundstelle nennen, beim Thema bleiben.
• Keine Ergänzung aus dem allgemeinen Modellwissen.
• Rückfrage nur, wenn die Frage mehrdeutig ist.
• beantwortet mit Quelle
• zählt in die Quellenbindung
• Teiltreffer
• Ein Teil ist gedeckt, ein Teil nicht.
• Den gedeckten Teil beantworten, die Grenze benennen.
• Den offenen Teil nicht schätzen, sondern ausweisen.
• Für den Rest den Weg zum Team im selben Zug anbieten.
• teilweise beantwortet
• offener Teil wird protokolliert
• Keine Grundlage
• Die Unterlagen sagen dazu nichts.
• Die Lücke benennen, statt sie zu umschreiben.
• Nichts ableiten, auch wenn die Antwort naheliegt.
• Formular, Rückruf oder Übergabe direkt anbieten.
• abgelehnt: Lücke
• geht in die Pflegeliste
• Außerhalb der Grenze
• Die Frage ist nicht zulässig.
• Sachlich ablehnen, ohne die Regel vorzulesen.
• Keine rechtliche, medizinische oder steuerliche Wertung.
• An die zuständige Stelle verweisen.
• abgelehnt: Grenze
• kein Pflegebedarf im Bestand
• Zwei Ablehnungen, zwei Ursachen: die eine ruft nach Inhalt, die andere ist die richtige Antwort.

Ablehnen statt raten: vier Lagen

Die Ablehnung ist eine Funktion, kein Fehler

Wer einen Assistenten zum ersten Mal in Betrieb nimmt, misst fast immer dasselbe: wie viele Fragen er beantwortet hat. Für sich genommen ist das die falsche Zahl. Ein Assistent ohne jede Ablehnung hat nicht bewiesen, dass sein Bestand vollständig ist, sondern nur, dass ihn nichts daran hindert, eine Antwort zu erzeugen. Sprachmodelle setzen fort, was plausibel klingt; eine Durchwahl, eine Lieferfrist und eine Zuständigkeit klingen alle plausibel, auch wenn sie nirgends hinterlegt sind.

Deshalb wird die Ablehnung hier wie jede andere Antwort behandelt: Sie hat einen Auslöser, einen festen Aufbau, einen Anschluss und eine Spur im Protokoll. Sie ist nicht der Punkt, an dem der Assistent aufgibt, sondern der Punkt, an dem er die Verantwortung sichtbar zurückgibt – an den Bestand, wenn dort etwas fehlt, oder an einen Menschen, wenn die Frage ohnehin dorthin gehört. Wie die Grundregel dafür in der Systemanweisung verankert wird, ist dort im Einzelnen beschrieben; hier geht es darum, wo genau die Schwelle liegt und was nach ihr geschieht.

Die Schwelle: ab wann eine Quelle trägt

Zwischen „steht wörtlich da“ und „steht nirgends“ liegt der Bereich, in dem die meisten Fehler entstehen. Ein Suchtreffer ist kein Beleg. Ein Abschnitt, der dasselbe Wort enthält wie die Frage, kann inhaltlich etwas ganz anderes regeln – eine Rückgabefrist für Lagerware ist keine Rückgabefrist für Sonderanfertigungen, und ein Ansprechpartner für Bestandskunden ist keiner für Neukunden. Die Schwelle muss deshalb an der Aussage hängen, nicht an der Wortähnlichkeit.

In der Praxis hilft eine einfache Probe: Ließe sich die Antwort einem Mitarbeiter vorlegen, der die Fundstelle danebenlegt, ohne dass er etwas ergänzen müsste? Wenn ja, trägt die Quelle. Müsste er ergänzen, umdeuten oder von einem Fall auf einen anderen schließen, trägt sie nicht. Wie ein Bestand aufgebaut wird, der solche Prüfungen überhaupt zulässt, steht im Beitrag zu Halluzinationen und Wissensbasis.

• Die Fundstelle beantwortet die Frage, nicht nur ihr Thema.
• Der Fall der Frage ist derselbe wie der Fall in der Quelle: gleiche Produktgruppe, gleiche Kundenart, gleicher Standort.
• Die Quelle gilt noch und ist nicht durch eine neuere Fassung abgelöst.
• Zahlen, Fristen und Namen stehen ausgeschrieben da und werden nicht aus dem Zusammenhang errechnet.
• Widersprechen sich zwei Fundstellen, trägt keine von beiden, bevor der Widerspruch geklärt ist.
• Was der Assistent aus allgemeinem Modellwissen ergänzen könnte, zählt nicht zur Grundlage.

Fehlendes Wissen oder unzulässige Frage

Beide Fälle enden in einer Ablehnung, und genau deshalb werden sie ständig verwechselt. Für den Betrieb sind sie gegensätzlich: Die eine Ablehnung ist ein Auftrag an die Pflege des Bestands, die andere ist das gewünschte Verhalten und soll auch nach der nächsten Pflegerunde genauso ausfallen. Wer beide in denselben Zähler schreibt, erhält eine Zahl, aus der sich keine Handlung ableiten lässt.

Die Trennung kostet im Aufbau eine halbe Stunde und zahlt sich bei jeder Auswertung aus. Jede Ablehnung bekommt eine Ursache mitgegeben, und die Ursache entscheidet, wohin die Arbeit läuft: Wissenslücken in die Pflegeliste des Bestands, Grenzfälle in die Prüfung der Systemanweisung, Umgehungsversuche in die Sicherheitsbetrachtung. Ohne diese Ursache landet alles in einem Topf, den am Ende niemand leert.

Wie eine Ablehnung klingt, die weiterhilft

Eine Ablehnung ist eine Antwort mit vier Teilen, und jeder fehlende Teil hat eine eigene Folge. Fehlt der erste, fühlt sich der Besucher missverstanden. Fehlt der zweite, hält er die Absage für Unwillen. Fehlt der dritte, geht er mit leeren Händen. Fehlt der vierte, sucht er den Weg zum Team selbst – oder gar nicht.

• Die Frage aufnehmen. Ein halber Satz, der zeigt, dass die Frage verstanden wurde, und der zugleich den Fall eingrenzt.
• Die Lücke benennen. „Dazu liegt mir nichts vor“ ist eine Auskunft. „Das kann ich leider nicht genau sagen“ ist eine Ausrede, weil offen bleibt, ob es die Angabe überhaupt gibt.
• Sagen, was stattdessen geht. Der angrenzende Teil, der gedeckt ist, oder die Stelle, an der die Angabe öffentlich steht.
• Den Anschluss anbieten. Formular, Rückruf oder Übergabe, im selben Zug und nicht als Nachsatz in der übernächsten Antwort.

Der Satz nennt den Grund – die Angabe fehlt in den Unterlagen – und schließt die naheliegende Erwartung aus, dass ersatzweise etwas Ähnliches genannt wird. In unserer eigenen Messreihe wurden 8 von 8 Fragen ohne Grundlage abgelehnt, statt geraten; gemessen wurden acht bewusst außerhalb der Unterlagen liegende Fragen, der Wortlaut jeder Antwort steht in der Messdatei. Verfahren und Grenzen dieser Messung stehen unter Messreihen.

Der Weg zum Menschen im selben Zug

Eine Ablehnung ohne Anschluss ist eine geschlossene Tür. Der Anschluss gehört deshalb in dieselbe Antwort und nicht in eine Rückfrage, die der Besucher erst beantworten muss. Entscheidend ist, dass der angebotene Weg zur Tageszeit passt: Innerhalb der Geschäftszeiten ist die Übergabe an einen Menschen im Chat der kürzeste Weg, außerhalb ist es ein Formular mit klarer Ansage, wann jemand antwortet.

• Der Anschluss steht in derselben Antwort wie die Absage, nicht eine Frage später.
• Innerhalb der Geschäftszeiten: Übergabe an einen Menschen, mit dem bisherigen Verlauf im Gepäck.
• Außerhalb: ein Formular oder ein Rückrufwunsch, mit Angabe, wann geantwortet wird.
• Der Verlauf geht mit, damit der Besucher seine Frage nicht zum zweiten Mal stellt.
• Die abgelehnte Frage bleibt im Verlauf sichtbar und wird nicht stillschweigend überschrieben.
• Ist kein Weg offen, steht das ausdrücklich da: eine Absage ohne Ersatzweg ist ehrlicher als ein Formular ins Leere.

Wie oft der Weg zum Menschen überhaupt gebraucht wird, ist eine Zahl aus dem Betrieb und keine Eigenschaft des Produkts. In unserer eigenen Messreihe blieben 43 von 48 Fragen ohne Übergabe an einen Menschen; gemessen wurde an einem einzigen Assistenten auf der eigenen Wissensbasis, nicht an Kundenprojekten, und ein Wert aus dem laufenden Betrieb liegt noch nicht vor. Wie eine Übergabe technisch und organisatorisch aussieht, steht im Beitrag zur Übergabe an Mitarbeiter.

Ablehnungen messbar machen

Was nicht gezählt wird, wird geschätzt, und geschätzt wird nach dem letzten unangenehmen Gespräch. Eine Ablehnung hinterlässt im Protokoll denselben Eintrag wie jede andere Antwort; ergänzt werden müssen nur die Ursache und der angebotene Anschluss. Vier Größen reichen, um aus dem Bestand an Gesprächen eine Entscheidung zu machen.

• Anteil der Ablehnungen an allen gestellten Fragen, getrennt nach Ursache: Lücke, Grenze, ausgeschlossene Zusage, Umgehungsversuch.
• Quellenbindung: Wie viele der beantworteten Fragen tragen eine Fundstelle? Antworten ohne Fundstelle sind die Gegenprobe zur Ablehnung.
• Anschlussquote: Wie viele Ablehnungen enthielten einen Weg zum Menschen, und wie viele davon wurden genutzt?
• Wiederkehr: Welche abgelehnte Frage kam in einem Monat mehrfach? Sie steht als Nächstes auf der Pflegeliste.

Die Gegenprobe ist die wichtigere Hälfte. Ein hoher Anteil an Ablehnungen kann heißen, dass der Assistent vorsichtig arbeitet – oder dass der Bestand zu dünn ist. Erst die zweite Zahl trennt beides: In unserer eigenen Messreihe trugen 42 von 48 Antworten eine Angabe der Quelle; gezählt wurden Fragen, deren Antwort in der Wissensbasis steht, sechs blieben ohne Quellenangabe. Wie sich solche Auswertungen im laufenden Betrieb erzeugen lassen, zeigt der Beitrag zur Gesprächsanalyse; welche Kennzahlen XICBOT dafür ausweist, etwa Wissenslücken, unbeantwortete Fragen und Antworten mit Beleg, steht auf der Produktseite zur Gesprächsanalyse.

Wenn zu viel abgelehnt wird

Eine zu scharfe Schwelle ist genauso teuer wie eine zu weiche, nur unauffälliger: Der Assistent macht keine Fehler, die jemand meldet, er beantwortet nur weniger, als er könnte. Der Befund steht in den Gesprächen und nicht in der Systemanweisung. Lesen Sie zwanzig abgelehnte Fragen am Stück – nach der zehnten zeigt sich das Muster.

• Die Antwort stand im Bestand, aber in einem Abschnitt, den die Suche nicht gefunden hat: ein Gliederungsproblem, kein Regelproblem.
• Die Frage war mehrdeutig, und der Assistent hat abgelehnt, statt eine einzige Rückfrage zu stellen.
• Der Bestand deckt den Fall in einer anderen Sprache oder für einen anderen Standort und wurde deshalb verworfen.
• Eine Zuständigkeitsgrenze ist weiter gefasst, als das Haus sie meint, und schneidet Themen ab, die längst geklärt sind.
• Die Regel für Unbekanntes steht zweimal in der Anweisung, in zwei Schärfegraden – das Modell folgt mal der einen, mal der anderen.

Die Reihenfolge der Behebung ist nicht beliebig. Zuerst wird der Bestand ergänzt, denn eine fehlende Seite erzeugt Ablehnungen, solange sie fehlt; welche Inhalte dafür in den Bestand gehören, steht im Beitrag zum Aufbau der Wissensbasis. Erst danach wird an der Schwelle selbst geschraubt, und zwar mit einer Änderung je Fassung und denselben Testfragen vorher und nachher, wie es die Abnahme mit Testfällen beschreibt.

Was das Wettbewerbsrecht dazu beiträgt

Eine geratene Auskunft ist nicht nur ein Servicethema. Was ein Assistent sagt, wird dem Haus zugerechnet; das Oberlandesgericht Hamm hat einen Chatbot als technisches Mittel eingeordnet, dessen sich der Betreiber bedient, und die Folgen dieser Einordnung sind im Beitrag zum Urteil zur Chatbot-Haftung ausgeführt. Für die Ablehnung ist die Vorschrift dahinter der eigentliche Grund, warum eine Schwelle überhaupt nötig ist.

Entscheidend ist die Blickrichtung der Vorschrift: Sie fragt nicht, ob jemand täuschen wollte, sondern ob die Angabe geeignet war, eine Entscheidung zu beeinflussen. Eine geschätzte Lieferzeit, die jemanden zum Kauf bewegt, ist damit erfasst; § 5 Absatz 2 Nummer 1 UWG nennt die Verfügbarkeit und den Zeitpunkt der Lieferung ausdrücklich. An dieser Stelle ist die Ablehnung nicht die vorsichtige, sondern die einzige saubere Antwort – und sie ist der Grund, warum die Schwelle vor der Antwort steht und nicht hinter ihr.

So gehen wir vor

Am Anfang steht keine Regel, sondern eine Liste: die Fragen, die ein Haus nicht beantworten will oder nicht beantworten kann. Sie entsteht aus dem Posteingang und aus einem Gespräch mit den Leuten, die heute antworten – dort ist bekannt, wo es unangenehm wird. Erst danach wird formuliert, was der Assistent in diesen Fällen sagt, und zwar als fertiger Satz und nicht als Absichtserklärung.

• Fragen sammeln, die abgelehnt werden sollen, und je Frage die Ursache festhalten.
• Die Schwelle als Prüfung an der Fundstelle formulieren, nicht als Aufforderung zur Vorsicht.
• Je Ursache einen Beispielsatz schreiben, samt Anschluss, und beide in die Systemanweisung nehmen.
• Testfragen festlegen, die absichtlich ins Leere zielen, und sie vor dem Livegang fahren.
• Ablehnungen mit Ursache protokollieren, damit die erste Auswertung nach zwei Wochen etwas zu trennen hat.
• Nach dieser Auswertung zuerst den Bestand ergänzen und erst danach die Schwelle anfassen.

Was dabei entsteht, ist kein Sicherheitsnetz, sondern ein Verhalten, das man vorführen kann: Man stellt dem Assistenten eine Frage, die er nicht beantworten darf, und sieht, was er stattdessen tut. Wenn Sie einen bestehenden Assistenten haben, dessen Antworten gelegentlich zu glatt klingen, ist das der erste Test, den wir fahren. Über Kontakt sehen wir uns Ihre Fälle an und sagen auch, wenn die Schwelle bereits an der richtigen Stelle liegt.

Häufige Fragen