Woran Sie merken, dass KI wirkt: Kennzahlen, die etwas sagen

Sechs Wochen nach dem Start sitzt die Runde wieder zusammen. Die Frage lautet: Hat sich die KI gelohnt? Die Antworten klingen so: „Ich glaube, es geht schneller.“ „Bei mir eher nicht.“ „Die Lizenzen werden jedenfalls genutzt.“ Am Ende entscheidet das Bauchgefühl der Geschäftsführung, und das kann in beide Richtungen danebenliegen.

Damit dieser Termin mehr hergibt, braucht es keine aufwendige Auswertung. Es braucht einen Ausgangswert, der vor dem Start festgehalten wurde, und zwei oder drei Kennzahlen pro Anwendungsfall. Dieser Beitrag schließt an unseren Workshop an, in dem Sie die ersten drei Anwendungsfälle finden. Dort steht am Ende ein Termin, an dem Sie nachsehen. Hier geht es darum, was Sie an diesem Termin auf dem Tisch haben sollten.

Vor dem Start: den Ausgangswert festhalten

Der häufigste Fehler passiert, bevor die KI überhaupt eingesetzt wird. Niemand schreibt auf, wie die Aufgabe bisher läuft. Sechs Wochen später lässt sich dann nur noch schätzen, wie lange ein Angebot früher gedauert hat, und Schätzungen im Rückblick sind unzuverlässig.

Bitten Sie deshalb die verantwortliche Person, in den zwei Wochen vor dem Start eine einfache Strichliste zu führen. Wie oft fiel die Aufgabe an? Wie lange hat sie ungefähr gedauert? Wie oft musste etwas nachgebessert werden? Eine Tabelle mit drei Spalten genügt. Wichtig ist nur, dass später nach derselben Methode gezählt wird.

Was Sie messen sollten

Für die meisten Anwendungsfälle reichen drei Fragen.

Wie lange dauert ein Vorgang? Das ist die naheliegende Zahl und meistens die wichtigste. Gemessen wird pro Vorgang, also pro Angebot, pro beantworteter Anfrage, pro ausgelesener Rechnung, nicht pro Person und Tag. So vergleichen Sie Gleiches mit Gleichem, auch wenn in der einen Woche mehr los war als in der anderen.

Ist das Ergebnis mindestens so gut wie vorher? Zeitersparnis ist nichts wert, wenn hinterher mehr korrigiert werden muss. Zählen Sie deshalb, wie oft nachgebessert wurde: Rückfragen von Kunden, Korrekturschleifen im Haus, Fehler, die erst später auffielen. Bei Texten genügt oft eine Stichprobe, die eine erfahrene Kollegin vorher und nachher nach denselben Kriterien durchsieht.

Wird die Aufgabe tatsächlich mit KI erledigt? Diese Frage klingt banal, ist aber der häufigste Grund für ausbleibende Wirkung. Wenn von zwanzig Angeboten nur fünf mit dem neuen Ablauf entstanden sind, messen Sie vor allem den alten Ablauf.

Ein Beispiel

Ein typischer Fall aus dem Vertrieb eines mittelständischen Unternehmens: Angebote werden aus Vorlagen, Preislisten und alten Mails zusammengesetzt. Die Zahlen in der Tabelle sind ausgedacht und dienen nur der Veranschaulichung.

Eine solche Übersicht beantwortet die Frage aus der Einstiegsszene in zwei Minuten. Sie zeigt auch, wo es hakt: Wenn sechs von 27 Angeboten noch ohne KI entstehen, lohnt die Frage, warum.

Was wenig aussagt

Einige Zahlen liegen bequem bereit und werden deshalb gern genommen. Sie beantworten aber eine andere Frage.

• Anzahl der Lizenzen oder Anmeldungen. Sie zeigt, dass das Werkzeug da ist. Ob es bei einer bestimmten Aufgabe hilft, zeigt sie nicht.
• Zahl der Eingaben im Werkzeug. Viele Eingaben können heißen, dass es gut läuft. Sie können auch heißen, dass jemand fünf Anläufe braucht, bis das Ergebnis passt.
• Hochgerechnete Einsparungen über das ganze Jahr. Wer die gesparten Minuten aus zwei Wochen mit 52 multipliziert und in Euro umrechnet, bekommt eine eindrucksvolle Zahl. Belastbar ist sie erst, wenn die Wirkung über mehrere Monate anhält.

Solche Zahlen dürfen in der Auswertung stehen. Sie sollten nur nicht die Entscheidung tragen.

Vorgänge zählen, nicht Personen

Viele KI-Werkzeuge bieten Auswertungen an, wer wie oft was genutzt hat. Das ist verlockend und für die Frage nach der Wirkung kaum nötig. Sobald ein System geeignet ist, das Verhalten oder die Leistung einzelner Beschäftigter zu überwachen, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz mitzubestimmen. Auf die Absicht kommt es dabei nicht an, die Eignung genügt. Auch die DSGVO verlangt, nur so viele personenbezogene Daten zu verarbeiten, wie für den Zweck nötig sind.

Für die Wirkung eines Anwendungsfalls reicht der Blick auf die Vorgänge: Wie viele Angebote, wie lange im Schnitt, wie viele Korrekturen. Das ist einfacher zu erheben, leichter zu erklären und nimmt dem Team die Sorge, dass es um Kontrolle geht. Informieren Sie den Betriebsrat trotzdem früh, was gemessen wird und wozu.

Nach sechs Wochen: Auswertung und Entscheidung

Planen Sie für jeden Anwendungsfall eine halbe Stunde ein. Die verantwortliche Person stellt die Zahlen vor und berichtet, was im Alltag aufgefallen ist. Danach gibt es drei mögliche Entscheidungen.

1. Weiter und ausweiten. Die Wirkung ist deutlich, die Qualität stimmt. Dann lohnt es sich, den Ablauf aufzuschreiben und weiteren Kolleginnen und Kollegen zu zeigen.
2. Weiter, aber nachbessern. Die Richtung stimmt, es hakt an einer Stelle: eine Vorlage fehlt, ein Zugriff auf Daten, eine kurze Schulung. Neuer Termin in vier Wochen.
3. Beenden. Die Aufgabe eignet sich doch nicht, oder der Aufwand für die Prüfung frisst die Ersparnis auf. Auch das ist ein Ergebnis. Der nächste Kandidat von der Liste aus dem Workshop rückt nach.

Halten Sie die Entscheidung mit einem Satz Begründung fest. Nach einem halben Jahr haben Sie so eine eigene, ehrliche Übersicht, was KI in Ihrem Unternehmen leistet und was nicht. Die ist für die nächste Investitionsentscheidung mehr wert als jede Marktstudie.

Wie andere Unternehmen ähnliche Aufgaben gelöst haben, finden Sie unter Anwendungsfälle. Den gesamten Weg von der ersten Idee bis zum Alltag beschreibt unser Fahrplan für die KI-Einführung.

Newsletter · Das KI-Lagebild

Das Wichtigste zu KI im Unternehmen, jeden Dienstag

Jeden Dienstag eine Mail mit den Neuigkeiten der Woche zu KI im Unternehmen und mit dem, was Sie davon wirklich angeht. Abmelden können Sie jederzeit.

Ihre E-Mail-Adresse Bitte leer lassen Ich möchte den Newsletter erhalten und kann ihn jederzeit abbestellen. Mehr in der Datenschutzerklärung. Anmelden

Sie bekommen zuerst eine Mail mit einem Bestätigungslink.

Häufige Fragen

Wie lange sollte man messen, bevor man urteilt?

Vier bis sechs Wochen sind ein guter erster Termin. Die ersten Tage sind meist langsamer als vorher, weil das Team sich einarbeitet. Wer nach einer Woche urteilt, misst die Eingewöhnung.

Reicht es, die Kolleginnen und Kollegen zu fragen, ob es hilft?

Die Einschätzung des Teams gehört dazu, sie allein reicht aber nicht. Menschen überschätzen gern, wie viel Zeit ein neues Werkzeug spart, oder unterschätzen es, wenn sie skeptisch sind. Eine einfache Zählung von Vorgängen und Dauer vorher und nachher macht das Bild belastbar.

Müssen wir den Betriebsrat beteiligen, wenn wir die Nutzung messen?

Sobald eine technische Einrichtung geeignet ist, Verhalten oder Leistung einzelner Beschäftigter zu überwachen, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz mitzubestimmen. Auswertungen je Person in einem KI-Werkzeug fallen in der Regel darunter. Wer Vorgänge zählt statt Personen, spart sich viele Fragen, sollte den Betriebsrat aber trotzdem früh informieren.

Was tun, wenn die Zahlen nach sechs Wochen keine Wirkung zeigen?

Erst nachsehen, ob die Aufgabe überhaupt mit KI erledigt wurde. Häufig liegt es daran, dass das Werkzeug im Alltag nicht griffbereit war oder die Anleitung fehlte. Wurde es genutzt und es bringt trotzdem nichts, ist das ein brauchbares Ergebnis: Der Anwendungsfall kommt von der Liste, der nächste rückt nach.

Quellen

• Betriebsverfassungsgesetz, § 87 Abs. 1 Nr. 6: gesetze-im-internet.de
• Verordnung (EU) 2016/679 (DSGVO), Art. 5 Abs. 1 Buchst. c (Datenminimierung): eur-lex.europa.eu

Ihre Meinung

Sie sehen das anders, haben eine Ergänzung oder eine Frage zum Beitrag? Schreiben Sie uns, wir antworten persönlich und nehmen gute Hinweise in den Beitrag auf.