Methode · 4 Min. Lesezeit
Das Anfrageprotokoll dient nicht nur der Kontrolle. Methodisch gelesen zeigt es, was Menschen wirklich fragen, wo der Assistent Schwächen hat und welche Automatisierungen sich lohnen.
Jeder im Unternehmen eingesetzte KI-Assistent sollte seine Anfragen protokollieren: wer gefragt hat, was gefragt wurde, welche Quellen herangezogen, welche Operationen vorgeschlagen wurden und mit welchem Ergebnis. Meist entsteht das Protokoll aus Gründen der Sicherheit und der Compliance, und das zu Recht.
Das Protokoll ist aber auch die ehrlichste Quelle dafür, wie das Werkzeug tatsächlich genutzt wird. Es zeigt die echten Fragen, nicht die in der Projektphase angenommenen, und macht konkret sichtbar, wo der Assistent hilft und wo nicht. Wer es ignoriert, verzichtet auf den günstigsten Weg, das Werkzeug zu verbessern.
Damit es diesen Zweck erfüllt, muss das Protokoll vollständig und lesbar sein. Ein Eintrag, der nur die Frage festhält, nützt wenig; einer, der auch die herangezogenen Quellen und das Ergebnis jedes Vorschlags zeigt, macht nachvollziehbar, was geschehen ist, ohne die Person fragen zu müssen.
Eine nützliche Auswertung des Protokolls beginnt mit wenigen Fragen. Welche Themen kommen am häufigsten vor? Welche Abteilungen nutzen das Werkzeug und welche nicht? Welche Anfragen erhalten Antworten ohne Quellen oder ein „Nichts gefunden“? Welche vorgeschlagenen Operationen werden vor der Bestätigung abgelehnt oder korrigiert?
Ausgefeilte Kennzahlen sind nicht nötig. Die Anfragen nach Themen zu gruppieren, auch von Hand an einer Stichprobe, reicht oft aus, um zu sehen, wo man ansetzen sollte. Ähnlich formulierte, wiederkehrende Anfragen zeigen einen stabilen Bedarf; Gespräche, die nach einer einzigen Frage abbrechen, können auf eine unbefriedigende Antwort hindeuten.
Auch fehlende Anfragen sagen etwas aus. Eine Abteilung, die den Assistenten nicht nutzt, kennt ihn vielleicht nicht, findet dort ihre eigenen Quellen nicht oder wurde nicht ausreichend geschult. Ein Gespräch mit zwei oder drei Personen aus dieser Abteilung klärt die Lage besser als jede Analyse.
Fehlende Antworten sind am aufschlussreichsten. Fragen viele Menschen nach Informationen, die der Assistent nicht findet, liegen die Daten vielleicht in einem noch nicht angebundenen System, in einem Dokument außerhalb des Umfangs oder in einem Bereich, für den Berechtigungen fehlen. Jede Ursache hat eine andere Lösung: eine neue Anbindung, ein ergänztes Dokument, eine Prüfung der Rollen.
Ebenso deuten Antworten, die Menschen beanstanden oder korrigieren, oft auf veraltete Dokumente, unvollständige Daten oder missverständliche Anweisungen hin. Wer die Ursache jedes Falls kurz notiert, macht aus dem Protokoll eine Liste von Maßnahmen mit klaren Prioritäten statt einer Sammlung vager Beschwerden.
Das Protokoll macht auch wiederkehrende Arbeit sichtbar. Fragt jemand jeden Montag nach derselben Übersicht über Angebote und Zahlungseingänge, oder bereiten zum Monatsende mehrere Personen denselben Mahnungsentwurf vor, liegt ein natürlicher Kandidat für eine Automatisierung auf der Hand.
Das Protokoll hilft auch bei der Entscheidung, wie sie gestaltet werden soll. Operationen, die fast immer unverändert bestätigt werden, sind gute Kandidaten; häufig korrigierte brauchen erst bessere Anweisungen, bevor man sie automatisiert. In jedem Fall folgt die Automatisierung weiter der Regel: Die KI bereitet vor, der Nutzer bestätigt.
Nach dem Start zeigt das Protokoll, ob die Automatisierung wie gewünscht funktioniert. Werden Bestätigungen zur Routine, ohne dass jemand den Inhalt liest, oder nehmen die Korrekturen zu, ist es Zeit, die Anweisungen oder die Dokumentvorlage zu überarbeiten.
Das Protokoll täglich zu lesen, ist nicht nötig. Eine monatliche Durchsicht mit einer Ansprechperson pro Abteilung und einer halben Stunde Zeit genügt in der Regel, um die sinnvollsten Maßnahmen zu erkennen. Legen Sie vorab fest, wer das Protokoll einsehen darf und zu welchem Zweck, denn es enthält Fragen und Daten von Menschen: Es darf nicht zum Instrument individueller Überwachung werden.
Im AI-Modul von Innovaq ist das Anfrageprotokoll in den Assistenten integriert und für berechtigte Personen einsehbar. Jeder Eintrag enthält Nutzer, Frage, verwendete Quellen, vorgeschlagene Operationen und das Ergebnis der Bestätigung. Das ist die Grundlage, um Antworten zu verbessern, die nächsten Quellen auszuwählen und zu entscheiden, welche Automatisierungen aktiviert werden.
Monatliche Durchsicht
Weiterlesen
Das Model Context Protocol ist der Standard, um einen KI-Assistenten mit Unternehmenswerkzeugen und -daten zu verbinden. Was das in der Praxis bedeutet und wie Sie die ersten Anbindungen fehlerfrei planen.
Standardmodelle sind sofort einsatzbereit und leistungsstark, eine eigene KI kennt die Sprache des Unternehmens besser. Wie Sie die Wahl treffen und warum die beste Lösung oft eine Kombination aus beidem ist.
Innovaq befindet sich in der Startphase.