¿Cómo saber si un agente de IA está ahorrando tiempo de verdad?
Casi todo el reporte sobre esto mide actividad porque la actividad es fácil de contar. El número que importa es más pequeño, más difícil de conseguir, y merece la molestia.
Preguntas y respuestas
¿Qué debería medir?
Minutos devueltos a una persona concreta en una tarea concreta, y con qué frecuencia hubo que arreglar el resultado. Todo lo demás —ejecuciones, tokens, agentes desplegados— es actividad. La actividad sube funcione o no la cosa, que es justo por lo que es el número que la gente reporta.
¿Cómo consigo una referencia si nadie cronometró antes la tarea?
Pide a la persona que la cronometre tres días antes de cambiar nada. Tres días de medición imperfecta valen más que una estimación perfecta, y evitan la discusión posterior sobre si la tarea de verdad tardaba tanto.
¿Cuál es un ahorro realista?
Para una tarea bien elegida, casi toda la lectura y la redacción y nada de la decisión: a menudo entre la mitad y tres cuartos del tiempo transcurrido, siendo el resto la revisión. Cualquier cosa que diga eliminar la tarea entera está describiendo una tarea de la que nadie respondía.
¿Cómo sé si la calidad se mantiene?
Cuenta ediciones, no quejas. Haz que quien revisa anote si cada resultado salió sin cambios, con retoques ligeros o reescrito. Una tasa de reescritura al alza es la señal más temprana de que algo se ha desviado, normalmente las entradas y no el agente.
¿Cuándo debería apagar un agente?
Cuando revisar tarda más de lo que tardaba la tarea, cuando la tasa de reescritura deja de bajar después de las dos primeras semanas, o cuando la persona a la que debía ayudar ha dejado de usarlo en silencio. La última es la más fiable y la menos reportada.
¿Cuánto espero antes de juzgarlo?
Dos semanas de uso real. Los primeros días no son representativos en ninguna de las dos direcciones: la novedad lo infla, la falta de costumbre lo hunde. En la segunda semana la gente ha dejado de pensar en ello, y es entonces cuando el número significa algo.