Woran erkennen Sie, ob ein KI-Agent wirklich Zeit spart?
Fast alle Berichte darüber messen Aktivität, weil Aktivität leicht zu zählen ist. Die Zahl, auf die es ankommt, ist kleiner, schwerer zu bekommen und die Mühe wert.
Fragen und Antworten
Was sollte ich messen?
Minuten, die einer bestimmten Person bei einer bestimmten Aufgabe zurückgegeben werden, und wie oft das Ergebnis korrigiert werden musste. Alles andere — Läufe, Token, ausgerollte Agenten — ist Aktivität. Aktivität steigt, ob die Sache funktioniert oder nicht, und genau deshalb ist sie die Zahl, die berichtet wird.
Wie bekomme ich eine Ausgangsbasis, wenn niemand die Aufgabe je gestoppt hat?
Lassen Sie die Person drei Tage lang mitstoppen, bevor Sie etwas ändern. Drei Tage unvollkommener Messung sind mehr wert als eine perfekte Schätzung, und sie ersparen Ihnen später den Streit darüber, ob die Aufgabe wirklich so lange gedauert hat.
Was ist eine realistische Ersparnis?
Bei einer gut gewählten Aufgabe fast das ganze Lesen und Entwerfen und nichts von der Entscheidung: oft die Hälfte bis drei Viertel der verstrichenen Zeit, der Rest ist die Prüfung. Alles, was verspricht, die ganze Aufgabe zu beseitigen, beschreibt eine Aufgabe, für die niemand verantwortlich war.
Wie erkenne ich, ob die Qualität hält?
Zählen Sie Korrekturen, nicht Beschwerden. Lassen Sie die prüfende Person notieren, ob jedes Ergebnis unverändert durchging, leicht angepasst oder neu geschrieben wurde. Eine steigende Neuschreib-Quote ist das früheste Zeichen, dass etwas abgedriftet ist — meist die Eingaben, nicht der Agent.
Wann sollte ich einen Agenten abschalten?
Wenn die Prüfung länger dauert als früher die Aufgabe, wenn die Neuschreib-Quote nach den ersten zwei Wochen nicht mehr sinkt, oder wenn die Person, der er helfen sollte, ihn stillschweigend nicht mehr benutzt. Das Letzte ist das zuverlässigste Zeichen und das am seltensten berichtete.
Wie lange warte ich, bevor ich urteile?
Zwei Wochen echter Nutzung. Die ersten Tage sind in keine Richtung repräsentativ: Neuheit hebt sie an, Ungewohntheit drückt sie. In der zweiten Woche denken die Leute nicht mehr darüber nach, und dann bedeutet die Zahl etwas.