Antworten bewerten lassen: Rückmeldung der Kunden im Chat nutzen

Unter einer Antwort im Chat steht eine kleine Frage: War das hilfreich? Ein Klick auf Ja oder Nein kostet den Besucher kaum Aufwand und den Betrieb nichts. Trotzdem bleibt diese Rückmeldung oft ungenutzt, weil niemand festgelegt hat, wer die Noten liest, wie man sie deutet und was danach geschieht. Dieser Beitrag beschreibt den Kreislauf, der aus einer einfachen Bewertung je Antwort eine Qualitätsmessung macht: schlecht bewertete Antworten nach Thema bündeln, die Ursache finden, die Wissensbasis nachpflegen und dieselbe Frage erneut prüfen. Dazu gehören die Fallen, die eine Quote verfälschen, und die Regeln, mit denen die Auswertung ohne Personenprofile auskommt.

Grafik vergrößern

Beschriftungen der Abbildung

• Note je Antwort
• Ja oder Nein unter
• jeder Antwort
• Themen bündeln
• Einzelfälle von
• Mustern trennen
• Ursache finden
• Verlauf und Quellen
• der Antwort lesen
• Wissen pflegen
• Inhalt ergänzen oder
• Seite aktualisieren
• Erneut prüfen
• Dieselbe Frage im
• Test und Prüfsatz
• Nächstes Zeitfenster: dasselbe Thema, weniger Nein?
• Vier Ursachen und ein Sonderfall: was zu tun ist
• Ursache
• Korrektur
• Wissen fehlt
• Inhalt in der Wissensbasis ergänzen
• Seite veraltet
• Quelle aktualisieren und neu einlesen
• Falsche Quelle gezogen
• Widersprüche auflösen, Altes ausschließen
• Frage unklar
• Rückfrage in die Anweisungen aufnehmen
• Unmut über die Sache
• Keine Korrektur: Regel besser erklären
• Zuerst die Abdeckung lesen
• Antworten mit Note
• Wie viel überhaupt bewertet ist
• Noten der Besucher
• Wie viele Noten im Fenster fielen
• Davon hilfreich
• Erst bei genug Noten aussagekräftig

Antworten bewerten: vom Nein zur korrigierten Antwort

Eine günstige Qualitätsmessung im Chat

Ein Assistent kann viel über sich selbst mitschreiben: welche Quellen er für eine Antwort benutzt hat, wie gut die Frage von den hinterlegten Unterlagen gedeckt war, ob er an einen Menschen übergeben hat. Diese Größen messen die Antwort von innen. Ob sie dem Menschen, der gefragt hat, weitergeholfen hat, steht in keiner davon. Eine Antwort kann eine Quelle tragen und trotzdem an der Frage vorbeigehen, weil die Quelle veraltet ist oder die Frage anders gemeint war. Genau diese Lücke schließt eine Bewertung je Antwort: Sie misst von außen, kostet den Besucher einen Klick und hängt an genau der Stelle im Gespräch, um die es geht.

Die Note ist damit kein Ersatz für die übrigen Zahlen, sondern ihr Gegenstück. Wie eine Auswertung insgesamt aufgebaut ist, mit Themen, Wissenslücken, Abbrüchen und Kaufsignalen, beschreibt der Beitrag zur Gesprächsanalyse. Hier geht es um einen engeren Ausschnitt: den Kreislauf von der Bewertung über die Ursache zur Korrektur und zurück zur Messung.

So sieht die Bewertung im Chat aus

Je einfacher die Bewertung, desto eher wird sie genutzt. Zwei Zustände genügen: hilfreich oder nicht hilfreich. Eine Skala mit Sternen verlangt eine Abwägung, die mitten im Gespräch kaum jemand treffen möchte, und liefert Zwischenwerte, die sich schwer deuten lassen. Wichtiger als die Form ist der Ort: Die Bewertung gehört an die einzelne Antwort und nicht an das ganze Gespräch. Nur dann lässt sich später sagen, welche Auskunft nicht geholfen hat, und nicht bloß, dass irgendetwas im Verlauf nicht gepasst hat.

• Unter jeder Antwort, nicht erst am Ende des Gesprächs, wenn viele Besucher das Fenster schon geschlossen haben.
• Freiwillig und unaufdringlich: kein Pflichtfeld, kein eingeblendetes Fenster, keine Wiederholung der Bitte nach jeder Nachricht.
• Neutral formuliert: Die Frage lautet, ob die Antwort geholfen hat, nicht, ob man zufrieden war oder den Betrieb weiterempfehlen würde.
• Zurücknehmbar: Wer sich verklickt hat oder die Antwort später anders sieht, kann die Note ändern oder zurückziehen.
• Ohne Gegenleistung: keine Gutscheine oder Vorteile für eine Note und keine Note als Bedingung, um weiterzuschreiben.

Die Zahl richtig lesen: Abdeckung zuerst

Eine Quote der hilfreichen Noten wirkt wie eine klare Zahl, ist aber ohne ihren Nenner kaum zu deuten. Wer bewertet, ist eine Auswahl und keine zufällige: Ob jemand klickt, kann auch von der Stimmung abhängen, in der er die Antwort liest. Die Auswertung von XICBOT zeigt die Noten deshalb in drei Karten. Wie die Kennzahlenkarten insgesamt zählen, mit Zähler und Nenner zu jedem Anteil, beschreibt die Seite zur Auswertung von XICBOT. Gibt es im Zeitraum keine einzige Note, nennt die Karte für den Anteil keinen Wert, sondern den Grund.

Schlecht bewertete Antworten nach Thema bündeln

Ein einzelnes Nein sagt wenig. Vielleicht hat der Besucher etwas anderes gesucht, vielleicht hat er sich verklickt. Aussagekräftig wird es, wenn mehrere Neins dasselbe Thema betreffen: Lieferzeiten nach Österreich, die Rückgabe von Sonderanfertigungen, die Öffnungszeiten an Feiertagen. Deshalb beginnt die Auswertung nicht bei der Quote, sondern bei den bewerteten Antworten selbst. In XICBOT steht in der Auswertung unter „Was als Nächstes zu tun ist“ ein eigener Vorschlag für Antworten, die als nicht hilfreich bewertet wurden, mit der Zahl der Fälle und dem Bereich Wissen als Ort der Änderung. In der Gesprächsansicht öffnet sich jedes Gespräch in einem Seitenbereich; dort steht an jeder Antwort neben Quellen und Werkzeugaufrufen auch die Note des Besuchers.

• Neins sammeln: alle als nicht hilfreich bewerteten Antworten des Zeitraums, mit der Frage davor und der Antwort im Wortlaut.
• Thema vergeben: jede Antwort einem Thema zuordnen, in der Sprache Ihrer Kunden und nicht in der Ihrer Abteilungen.
• Muster suchen: Themen mit mehreren Neins zuerst; Einzelfälle zurückstellen, bis sie wiederkehren.
• Gegenprobe ziehen: Gibt es zum selben Thema auch Ja-Noten? Dann liegt das Problem oft in einer Variante der Frage, nicht im Thema.
• Mit den Lücken abgleichen: Steht dasselbe Thema auch bei den Wissenslücken oder den unbeantworteten Fragen, ist die Ursache meist schnell gefunden.

Vier Ursachen hinter einem Nein

Ist ein Thema gefunden, folgt die Frage nach dem Warum. Dafür lohnt der Blick in den Verlauf: die Frage im Wortlaut, die Antwort, die benutzten Quellen und das, was der Besucher danach geschrieben hat. In der Regel lässt sich das Nein einer von vier Ursachen zuordnen, und jede verlangt eine andere Korrektur. Eine fünfte Gruppe sieht aus wie ein Fehler, ist aber keiner.

Für die erste Ursache gibt es ein zweites Signal, das unabhängig von der Note entsteht: Antworten ohne Quellenangabe. In unserer eigenen Messreihe vom 11.09.2026 trugen 42 von 48 Antworten eine Angabe der Quelle; gezählt wurden Fragen, deren Antwort in der Wissensbasis steht, sechs blieben ohne. Genau solche Antworten sind die ersten Kandidaten, wenn sich bei einem Thema die Neins häufen. Wie die Quellenangabe selbst gestaltet sein sollte, beschreibt der Beitrag zur Quellenangabe im Chat.

Nachpflegen und erneut prüfen

Korrigiert wird dort, wo die Ursache liegt, und in der Regel nicht in der Formulierung des Assistenten. Fehlt Wissen, kommt ein Abschnitt in die Wissensbasis; ist eine Seite veraltet, wird sie auf der Website berichtigt und neu eingelesen. In XICBOT schreibt jeder Indexlauf in eine neue Fassung und schaltet erst am Ende um; scheitert er, antwortet der alte Stand weiter. Soll eine Auskunft wörtlich so herausgehen, wie Sie sie formuliert haben, etwa bei Rückgabe oder Widerruf, hinterlegen Sie ein gepflegtes Frage-Antwort-Paar: Sein Wortlaut geht unverändert hinaus, ohne Modellaufruf.

• Im Test-Bereich dieselbe Frage im Wortlaut des Besuchers stellen und prüfen, ob die neue Antwort die richtige Quelle nennt.
• Als Prüfzeile die Frage mit dem erwarteten Dokument hinterlegen. Der nächste Prüfsatzlauf zeigt, ob dieses Dokument gefunden wird und an welcher Stelle.
• Varianten mitprüfen, auch die kurze und die umständliche Fassung der Frage, denn Besucher schreiben selten so wie die Unterlagen.
• Im nächsten Zeitfenster nachsehen, ob die Neins zu diesem Thema zurückgehen, bei vergleichbarer Abdeckung.
• Festhalten, was geändert wurde und wann, damit sich eine Bewegung der Zahlen einer Änderung zuordnen lässt.

Der Kreislauf ersetzt keine regelmäßige Pflege, er setzt ihre Prioritäten. Was ohnehin nach festem Turnus geprüft wird, Preise, Fristen, Öffnungszeiten, steht im Beitrag Wissensbasis aktuell halten. Die Noten zeigen zusätzlich, welche Inhalte die Besucher tatsächlich vermissen, und damit, wo sich eine zusätzliche Runde zuerst lohnt.

Drei Fallen bei der Auswertung

Die dritte Falle verdient einen zweiten Blick, weil sie aus einer richtigen Antwort einen scheinbaren Fehler macht. Ein Assistent, der zu einer Frage nichts in seinen Unterlagen findet, soll das sagen, statt zu raten. In unserer eigenen Messreihe vom 11.09.2026 wurden 8 von 8 Fragen ohne Grundlage abgelehnt, statt geraten. Eine solche Absage ist für den Besucher im Moment unbefriedigend und kann ein Nein bekommen. Wer dieses Nein als Fehler zählt und die Quote nach oben treiben will, schafft einen Anreiz, die Absage abzuschwächen. Warum das der falsche Weg ist, beschreibt der Beitrag Ablehnen statt raten.

Vom Unmut über die Sache ist der Ärger im Gespräch selbst zu unterscheiden. Wiederholt jemand dieselbe Frage, schreibt in Großbuchstaben oder verlangt nach einem Menschen, ist eine Übergabe oft hilfreicher als eine weitere Antwort; das gehört zur Erkennung von Unmut während des Gesprächs und nicht zur Auswertung danach. Wie ein Assistent solche Anzeichen erkennt und übergibt, beschreibt der Beitrag Frust im Chat erkennen. Die Note ergänzt diese Erkennung: Sie fällt auch dort, wo kein Wort des Ärgers geschrieben wurde.

Datenschutz: aggregiert auswerten, keine Personenprofile

Eine Note allein nennt keinen Namen. Sie hängt aber an einer Antwort in einem Gespräch, und in diesem Gespräch können personenbezogene Daten stehen: ein Name, eine Bestellnummer, eine Mailanschrift. Solange sich die Note über das Gespräch einer Person zuordnen lässt, ist sie Teil dieser Daten. Anders ist es bei Summen über einen Zeitraum, etwa der Zahl der Noten in einer Woche und dem Anteil der hilfreichen. Nach Erwägungsgrund 26 der DSGVO sollen die Grundsätze des Datenschutzes für anonyme Informationen nicht gelten, also für Informationen, die sich nicht auf eine identifizierte oder identifizierbare Person beziehen. Bei sehr kleinen Zahlen ist Vorsicht geboten: Eine Woche mit einer einzigen Note lässt unter Umständen Rückschlüsse auf ein bestimmtes Gespräch zu. Was dagegen nicht entstehen soll, ist ein Bild einzelner Besucher. Die DSGVO bestimmt den Begriff Profiling in Artikel 4 Nummer 4 so:

• Keine Noten je Besucher sammeln: keine Liste, wer wie oft Nein klickt, und keine Einstufung von Besuchern als kritisch oder zufrieden.
• Den Zweck festhalten: Die Noten dienen der Verbesserung der Antworten, nicht der Werbung und nicht der Beurteilung von Beschäftigten. Artikel 5 Absatz 1 Buchstabe b DSGVO verlangt, dass Daten für festgelegte Zwecke erhoben und nicht in einer damit unvereinbaren Weise weiterverarbeitet werden.
• Wenig zeigen: Für die Ursachensuche reicht in der Regel der maskierte Verlauf. Artikel 25 Absatz 2 DSGVO verlangt Voreinstellungen, unter denen nur die für den jeweiligen Zweck erforderlichen Daten verarbeitet werden.
• Fristen beachten: In XICBOT steht die Note als Feld an der Antwort und nicht in einer eigenen Sammlung. Wird das Gespräch nach Ablauf der Frist gelöscht, die Sie für Gespräche festlegen, verschwindet die Note mit; frühere Zeiträume zeigen danach entsprechend weniger Noten. Wie solche Fristen festgelegt werden, beschreibt der Beitrag zu Löschfristen für Chatprotokolle.

Wenn Noten auf Beschäftigte zurückfallen

Eine Note bewertet eine Antwort des Assistenten. Sie kann aber schnell zu einer Note über Menschen werden: über die Person, die einen Bereich der Wissensbasis pflegt, oder über das Team, das nach einer Übergabe weiterhilft. In Betrieben mit Betriebsrat stellt sich dann die Frage der Mitbestimmung, und zwar nicht erst bei der Auswertung. § 87 Absatz 1 Nummer 6 des Betriebsverfassungsgesetzes nennt als mitbestimmungspflichtige Angelegenheit:

Ob eine Bewertungsfunktion eine solche Einrichtung ist, hängt nach der Rechtsprechung des Bundesarbeitsgerichts nicht von der Absicht ab, mit der sie eingeführt wird. Maßgeblich ist, ob sie objektiv geeignet ist, Angaben über Verhalten oder Leistung von Beschäftigten zu erheben, etwa wenn sich Noten über die Zuständigkeit für einen Bereich oder über eine Übergabe einzelnen Personen zuordnen lassen. Überwachung beginnt danach schon mit dem Sammeln solcher Angaben, nicht erst mit ihrer Auswertung (Beschluss vom 13.12.2016, 1 ABR 7/15). Eine Auswertung nur nach Themen hält eine Bewertungsfunktion deshalb nicht ohne Weiteres aus der Mitbestimmung heraus; schon ihre Einführung kann mitbestimmungspflichtig sein.

Für den Kreislauf bleibt es trotzdem bei einer einfachen Regel: Bewertet werden Antworten, nicht Personen. Die Noten führen zu Themen und Ursachen, und die Korrektur übernimmt, wer für den Inhalt zuständig ist, ohne dass eine Quote je Person entsteht. In Betrieben mit Betriebsrat empfiehlt es sich, die Bewertungsfunktion vor dem Einsatz mit dem Betriebsrat und der oder dem Datenschutzbeauftragten zu besprechen, erst recht, wenn Noten zur Beurteilung von Beschäftigten dienen sollen. Ob eine konkrete Gestaltung mitbestimmungspflichtig ist, ist eine Frage für fachliche Beratung im Einzelfall. Wie Zuständigkeiten und Freigaben im Team sinnvoll verteilt werden, beschreibt der Beitrag Rollen und Freigaben.

Den Kreislauf im Alltag verankern

Der Kreislauf trägt nur, wenn er regelmäßig läuft und jemand ihn verantwortet. In der Regel genügt eine feste Runde je Woche oder alle zwei Wochen, in der die bewerteten Antworten durchgesehen, die Themen gepflegt und die Korrekturen festgehalten werden. Vor der ersten Runde sollte feststehen, was der Kreislauf messen soll und was nicht.

• Die Bewertung steht unter jeder Antwort, ist freiwillig, neutral formuliert und lässt sich zurücknehmen.
• Eine Person verantwortet die Runde; die Korrekturen übernimmt, wer den jeweiligen Inhalt pflegt.
• Gelesen wird zuerst die Abdeckung, dann die Neins nach Thema, zuletzt die Quote.
• Jedes Nein-Thema bekommt eine Ursache aus den vier Gruppen oder den Vermerk, dass der Unmut der Sache galt.
• Jede Korrektur wird mit derselben Frage geprüft: im Test-Bereich, als Prüfzeile und im nächsten Zeitfenster.
• Ausgewertet wird aggregiert; es gibt keine Quote je Besucher und keine je Beschäftigtem.

Häufige Fragen