1,3 s
bis zum ersten Zeichen der Antwort, Median
64 Fragen an den eigenen Assistenten, nicht an Kundenprojekten
Nachweis
Die Messreihen hinter den Kennzahlen dieser Website
Die Kennzahlen zu Antwortzeit, Quellenbindung und Ablehnungen stammen aus einer Reihe, die gegen unseren eigenen Assistenten läuft — nicht gegen Kundenprojekte und nicht aus einer Branchenschätzung. Was hier steht, gilt für diesen Assistenten auf dieser Wissensbasis in diesem Zeitraum. Mehr sagt eine Messung nicht aus.
In einfacher Sprache
Auf unserer Website stehen Kennzahlen. Diese Seite zeigt, woher sie stammen. Wir messen nur unseren eigenen Assistenten. Wir messen nicht bei Kunden. Ein Teil der Fragen steht mit Absicht nicht in der Wissensbasis. So sehen wir, ob der Assistent dann aufhört oder etwas erfindet. Sie können die Messung selbst nachfahren.
Demo mit Ihren Unterlagen anfragen Funktionen im Einzelnen
- Antworten mit Angabe der Quelle
- Lädt erst nach Ihrer Einwilligung
- Keine Mindestlaufzeit, monatlich kündbar
-
Besucher:Wie schnell antwortet so ein Assistent denn?
-
Assistent:Dazu gibt es eine Messreihe gegen unseren eigenen Assistenten. Die Zahl steht mit Zeitraum, Anzahl der Gespräche und wörtlichem Zitat auf dieser Seite.
- Quelle: Messreihen dieser Website · Zeitraum und Zitat an jeder Zahl
-
Besucher:Und bei uns?
-
Assistent:Das kann ich nicht versprechen. Ihre Zahl hängt an Ihren Quellen und Ihrem Verkehr und wird im Betrieb gemessen, nicht vorher geschätzt.
Selbst fragen, Assistent dieser Website
Automatischer Assistent12 Anfragen je Minute
Deckel je Besucher auf der öffentlichen Widget-Schnittstelle
gilt je Besucher und Assistent; daraus folgt eine Frage alle 5 Sekunden, die Messreihe wartet 5,5 Sekunden und hält damit Abstand zur eigenen Bremse
Verfahren
Wie die Reihe läuft
Die Reihe stellt 32 Fragen über dieselbe öffentliche Schnittstelle, die auch ein Widget auf einer Kundenseite benutzt. 24 davon liegen in der Wissensbasis, acht bewusst außerhalb — nur so lässt sich unterscheiden, ob der Assistent aufhört oder etwas erfindet.
Jede Frage bekommt ein eigenes Gespräch. Ein langer Verlauf würde mit jeder weiteren Frage einen größeren Zusammenhang mitmessen und damit etwas anderes messen als die erste Frage.
Zwischen den Fragen liegt eine Pause von 5,5 Sekunden. Die Drosselung lässt zwölf Anfragen je Minute zu; ohne Pause misst die Reihe ab der dreizehnten Frage nur noch die eigene Bremse.
Gemessen wird zeichenweise am laufenden Strom. Der erste Wert ist die Zeit bis zum ersten Zeichen der Antwort — wer erst am Ende misst, misst die Länge der Antwort mit.
Quellenbindung
Was als belegt zählt
Als belegt zählt eine Antwort nur dann, wenn der Assistent im selben Strom die Stellen mitschickt, auf die er sich stützt. Eine Antwort, die inhaltlich richtig ist, aber keine Stelle nennt, geht in dieser Reihe als nicht belegt durch.
Der Wert liegt unter der Zahl der Fragen im Bestand. Das ist kein Defekt, den wir wegrechnen: es sind Fragen, die der Assistent aus mehreren Stellen zusammensetzt oder als Rückfrage beantwortet, ohne eine einzelne Stelle zu benennen.
Die zweite Zahl zählt die Fragen außerhalb der Wissensbasis, die ohne Übergabe an einen Menschen endeten. Je niedriger sie ist, desto verlässlicher landet eine ungedeckte Frage bei jemandem, der sie beantworten kann.
42 von 48
Antworten mit Angabe der Quelle
Fragen, deren Antwort in der Wissensbasis steht; sechs blieben ohne Quellenangabe
43 von 48
Fragen ohne Übergabe an einen Menschen
gemessen an einem einzigen Assistenten auf der eigenen Wissensbasis, nicht an Kundenprojekten; ein Wert aus dem laufenden Betrieb liegt noch nicht vor
Grenzen
Aufhören statt raten
Acht Fragen der Reihe sind so gewählt, dass sie in keiner Unterlage stehen können: Umsatzzahlen, eine Privatnummer, eine Prognose, die Bewertung eines Wettbewerbers. Eine Messung, die nur Ereignisse zählt, könnte an dieser Stelle nicht unterscheiden, ob der Assistent ehrlich abgelehnt oder etwas erfunden hat.
Deshalb wird der Antworttext mitgeschrieben und gelesen. Eine Ablehnung zählt erst dann als Ablehnung, wenn im Text steht, dass die Auskunft fehlt — nicht schon dann, wenn kein Belegereignis kam.
Diese Zahl ist die wichtigste der Seite. Ein Assistent, der neunundneunzig Prozent der Fragen schnell beantwortet und bei einem Prozent etwas erfindet, ist im Betrieb schlechter als einer, der öfter abgibt.
8 von 8
Fragen ohne Grundlage abgelehnt, statt geraten
acht bewusst außerhalb der Unterlagen liegende Fragen; der Wortlaut jeder Antwort steht in der Messdatei
Umfang und Gewicht
Die beiden Zahlen, die nicht aus der Fragereihe stammen
Der Umfang der Wissensbasis wird nicht befragt, sondern gezählt: die Zahl der Abschnitte, in die unsere eigenen Unterlagen zerlegt wurden. Sie sagt, wie viel Stoff hinter einer Antwort steht, und nichts darüber, wie gut er ist.
Das Gewicht des Ladeskripts wird an der ausgelieferten Datei gemessen, nicht am Quelltext. Gemessen wird die Datei, die im Browser ankommt, mit der Übertragungskompression, die der Webserver tatsächlich schickt.
Beide Zahlen gelten für unseren eigenen Stand. Auf einer Kundenseite hängt der Umfang an den eingelesenen Unterlagen und das Gewicht an der Kompression des dortigen Webservers — deshalb steht neben jeder Zahl, worauf sie sich bezieht.
2 670
Abschnitte aus 70 Dokumenten in der eigenen Wissensbasis
der Bestand des Assistenten, der auf dieser Seite antwortet
24,1 KB
Ladeskript auf Ihrer Seite, komprimiert
nur die Datei, die auf der fremden Seite läuft, gemessen mit der Kompression, die der Webserver tatsächlich schickt; das Chatfenster liegt im eigenen Rahmen und lädt erst, wenn Ihre Seite fertig geladen ist
Gemessen wird in der Anwendung, nicht daneben
-
Sieben, dreißig oder neunzig Tage sind die Fenster, über die gerechnet wird.
-
Antworten mit Beleg, Deckung der Fragen und Trefferqualität stehen als eigene Kennzahlen.
-
Wo keine Grundlage vorliegt, steht nicht gemessen und keine Zahl.
So fahren Sie die Reihe nach
Eine Zahl, die niemand nachfahren kann, ist eine Behauptung mit Quellenangabe. Deshalb steht hier nicht nur das Ergebnis, sondern der Weg dorthin — in der Reihenfolge, in der wir ihn selbst gehen.
Gebraucht wird dafür nichts, was Sie nicht schon haben: der öffentlich erreichbare Assistent dieser Website, die Fragenliste aus der Ausgabedatei und etwas Geduld beim Mitlesen der Antworttexte.
-
Gegen den öffentlichen Assistenten fragen
Die Reihe benutzt denselben Weg wie ein Widget auf einer Website: ein Gespräch anlegen, eine Frage senden, den Strom lesen. Ein eigener Zugang ist dafür nicht nötig.
-
Den Stand der Wissensbasis festhalten
Eine Antwort hängt an der Fassung, die im Moment der Frage aktiv war. Jeder Indexlauf schreibt in eine neue Fassung und schaltet erst am Ende um — eine Reihe von gestern und eine von heute können deshalb verschiedene Auszüge benutzt haben. Notieren Sie Zeitpunkt und Stand, sonst lässt sich eine Abweichung später nicht einordnen.
-
Dieselben Fragen stellen
Die 32 Fragen stehen vollständig in der Ausgabedatei der Reihe, getrennt nach Fragen im Bestand und Fragen außerhalb.
-
Die Fragen außerhalb des Bestandes mitfahren
Die Hälfte der Aussagekraft steckt in den Fragen, auf die es keine Antwort geben darf. Wer nur Fragen aus dem Bestand stellt, misst, ob der Assistent findet — nicht, ob er schweigt, wenn nichts da ist. Genau dieser zweite Teil ist der, an dem ein Assistent üblicherweise auffällt.
-
Den Antworttext mitlesen
Ohne den Text lässt sich eine ehrliche Ablehnung nicht von einer Erfindung unterscheiden. Die Ausgabedatei führt je Frage die ersten 1.200 Zeichen der Antwort mit.
-
Abweichungen erwarten
Antwortzeiten schwanken mit Auslastung und Tageszeit. Deshalb steht auf dieser Seite der Median und nicht der beste Lauf, und daneben der Zeitraum der Messung.
Weicht Ihr Ergebnis von unserem ab, ist das zunächst kein Widerspruch, sondern ein Befund mit zwei möglichen Ursachen: ein anderer Stand der Wissensbasis oder eine andere Auslastung zum Zeitpunkt der Messung. Beides lässt sich mit Zeitpunkt und Fassung unterscheiden — ohne beides nicht.
Ergibt Ihre Reihe eine Zahl, die hier falsch steht, tauschen wir die Zahl und nennen die neue Messung, nicht die alte Erklärung. Eine Zahl, die eine Nachfrage nicht überlebt, gehört von dieser Seite herunter.
Eine Zahl, die nicht stimmt, wollen wir wissen
Wenn Sie eine Angabe auf dieser Website nachrechnen und auf etwas anderes kommen, schreiben Sie uns. Wir ziehen die Zahl zurück oder messen neu — beides ist besser, als sie stehen zu lassen.