夜里拦一辆计价器坏掉的出租车，司机说：先上车，多少钱到了再算。现在不少公司投 Agent（能自己调工具、拆任务、跑流程的 AI 代理），就是这个姿势。我看得很明白：没有评测集，Agent预算就是玄学。
玄不在技术，玄在算账。
大家以为，管理 AI 投资，无非是挑更强的模型、谈更低的单价、买更多的席位。都不对。到了 Agent 这一步，钱不只花在模型调用上，还花在重试、误判、返工、人工兜底、客户流失上。模型的单价写在合同里，Agent 的总价埋在返工里。
这事最反常识的地方就在这里：越像人的系统，越不能靠人的感觉去管。
人出错，会脸红，会解释，会被同事记一笔。Agent 出错，常常体面得很：步骤完整，语气笃定，日志漂亮，甚至还会给自己写一份像模像样的复盘。它最危险的时候，不是胡说八道，而是八九不离十。全错容易被抓，半对最会吃钱。
没有评测集，预算表不是财务文件，是许愿池账单。
所谓评测集，不是拿几道样题拍个演示视频，更不是老板现场试玩两轮就拍板。评测集，说白了，就是一篮子固定、重复、贴着业务地面走的真任务：100 张退款工单，50 封报价邮件，30 个跨系统审批，20 个历史缺陷。你让任何一个 Agent 上去跑，都能看见它在哪些活上真能省钱，在哪些活上只是把麻烦换了个包装。
镜头拉近，三个场景就够了。
周一早上九点，苏州一家做软件订阅的公司，把第一批客服工单交给 Agent。仪表盘漂亮得像春联：24 小时处理 1200 单，平均首响 18 秒。老板很满意，预算当场加码。两周后，续费率掉了。复盘才发现，Agent 把三成多退款申请先“安抚”一遍，再默默转人工，系统里都算“已处理”。速度是真的，解决是假的。队伍没变短，只是从 A 队挪到了 B 队。
你以为自己买的是自动化，常常只是租了一个会说话的实习生。
周三晚上十一点，广州一支外贸团队让 Agent 自动给欧洲客户报价。它会查库存、翻旧邮件、套模板、换汇率，演示时像个神童。第二天一早，阿敏发现一封已经被客户接受的报价，运费沿用了去年的旧表，整单毛利薄得像纸。最可怕的还不是这一单亏了，而是团队根本说不清：这种错，一个月会发生几次？在哪类客户上更容易发生？没有评测集，这不是经营，这是占卜。
最贵的错误，不是 AI 不会干活，而是它把错活干得像对的一样。
周五凌晨，北京一支二十人的研发组还在看 Agent 提的代码。它十分钟提一个合并请求，像个不知疲倦的夜班工程师。三个月后，月账单翻了倍，线上事故也多了。原因很土：同一个缺陷，它能连试九版；前八版都能通过局部测试，第九版终于过了，却把边缘逻辑打穿。后来工程经理把 60 个历史缺陷整理成评测集，再把不同模型分层去跑，才发现便宜模型足够吃掉大多数简单修补，贵模型只该放在少数高风险题上。那一天，预算第一次像预算，不像香火钱。
评测集不是技术洁癖，它是组织对幻觉征税的方式。
为什么那么多公司宁可烧钱，也不肯先做评测集？因为评测集这东西，表面上是技术活，骨子里是组织活。题目谁来定，成功怎么算，人工接管算不算完成，客户不投诉算不算过关，哪个部门为边界案例负责，一做就要吵。没有评测集时，人人都能活在自己的幻觉里：产品说“用户很喜欢”，销售说“客户都在问”，技术说“准确率挺高”，老板说“方向没问题”。一旦真把样本摊开、标准写死、结果跑出来，幻觉就开始交税。
所以，管理 Agent 时代的 AI 投资，我的判断很硬：先做秤，再谈米；先定尺，再谈预算。
先别问“上哪个模型”，先问“拿哪 100 件活来测”。
先别看总调用量，先看任务成功率、人工接管率、重试次数和单次完成成本。
先别按部门买热闹，先按场景买确定性。
说到底，评测集之于 Agent，不是考试卷，是计价器；不是研究员的摆设，是财务的眼睛。一个组织有没有真进入 Agent 时代，不看它接了多少模型，不看它墙上贴了多少 AI 战略图，就看一件事：它有没有一套拿得出手、改得动、复跑得起的评测集。
没有这套东西，再大的预算也只是把迷信做成采购单。
别人聊 AI，我们测 AI——每个结论都能下载原始数据自己复算。 🔗 官网 👉 https://crawdpad.com