怎么判断 AI 智能体是不是真的在省时间？
关于这件事的报告几乎都在衡量活动量，因为活动量容易数。真正重要的那个数字更小、更难拿到，但值得费这份力气。
问题与解答
我该衡量什么？
在某项具体任务上还给某个具体的人的分钟数，以及结果需要返工的频率。其余的一切——运行次数、token、上线的智能体数量——都是活动量。不管这东西有没有用，活动量都会上升，这恰恰就是人们爱报这个数字的原因。
如果从来没人给这项任务计过时，基准从哪来？
在改动任何东西之前，请那个人先计时三天。三天不完美的测量胜过一次完美的估算，而且能免去日后关于「这项任务到底有没有那么久」的争论。
多大的节省才现实？
对于一项选对了的任务，几乎所有的阅读和起草都能省下，决定环节一点也省不掉：往往是全程时间的一半到四分之三，其余是复核。凡是宣称能消灭整项任务的说法，描述的都是一项没人对其负责的任务。
怎么知道质量有没有掉下来？
数修改，而不是数抱怨。让复核的人记录每份结果是原样通过、轻微修改，还是重写。重写比例上升是最早的漂移信号，通常漂的是输入，而不是智能体。
什么时候该把智能体关掉？
当复核花的时间超过这项任务原本花的时间；当重写比例在头两周之后不再下降；或者当它本该帮助的那个人已经悄悄不再用它。最后这一条最可靠，也最少被报上来。
该等多久再下判断？
两周真实使用。头几天在哪个方向上都不具代表性：新鲜感把它抬高，不习惯把它压低。到了第二周，人们已经不再刻意想着它，那时的数字才有意义。