Comment savoir si un agent IA fait vraiment gagner du temps ?
Presque tous les rapports sur le sujet mesurent l'activité, parce que l'activité est facile à compter. Le chiffre qui compte est plus petit, plus difficile à obtenir, et il vaut l'effort.
Questions et réponses
Que devrais-je mesurer ?
Les minutes rendues à une personne précise sur une tâche précise, et la fréquence à laquelle le résultat a dû être corrigé. Tout le reste — exécutions, jetons, agents déployés — est de l'activité. L'activité augmente que la chose marche ou non, ce qui est exactement pourquoi c'est le chiffre que l'on rapporte.
Comment obtenir une référence si personne n'a jamais chronométré la tâche ?
Demandez à la personne de la chronométrer pendant trois jours avant de changer quoi que ce soit. Trois jours de mesure imparfaite valent mieux qu'une estimation parfaite, et ils vous évitent la discussion ultérieure sur la durée réelle de la tâche.
Quelle économie est réaliste ?
Pour une tâche bien choisie, presque toute la lecture et la rédaction et rien de la décision : souvent de la moitié aux trois quarts du temps écoulé, le reste étant la relecture. Tout ce qui prétend supprimer la tâche entière décrit une tâche dont personne n'était responsable.
Comment savoir si la qualité tient ?
Comptez les corrections, pas les plaintes. Demandez au relecteur de noter si chaque résultat est passé tel quel, a été légèrement retouché ou réécrit. Un taux de réécriture qui monte est le signe le plus précoce d'une dérive, généralement des entrées et non de l'agent.
Quand devrais-je éteindre un agent ?
Quand la relecture prend plus de temps que n'en prenait la tâche, quand le taux de réécriture cesse de baisser après les deux premières semaines, ou quand la personne qu'il devait aider a cessé de s'en servir sans rien dire. Le dernier signe est le plus fiable et le moins rapporté.
Combien de temps attendre avant de juger ?
Deux semaines d'usage réel. Les premiers jours ne sont représentatifs dans aucun sens : la nouveauté les gonfle, le manque d'habitude les tire vers le bas. La deuxième semaine, les gens n'y pensent plus, et c'est alors que le chiffre veut dire quelque chose.