⚠️ 如果你平时只会用聊天型大模型，最近又开始看各种智能代理工具，这条就是写给你的。最容易做错的一步，不是没跟上，而是看见新功能就急着开预算、开席位、换模型；如果只盯表面热闹，你很容易在错误方向上花掉时间、预算和注意力。
我太懂那种状态了：你刚刷到一条新消息，本来想划走，又怕错过下一步判断，于是先看谁家功能多、模型强不强。可管理“智能代理时代的人工智能投入”（How to manage AI investments in the agentic era）[C001]，第一步根本不是比谁更强，而是先看你有没有评测集（Eval，可以理解成固定题库）。没有评测集，Agent预算就是玄学，也就是智能代理项目的钱会越花越没数。[C002]
因为代理不是一次问答，它通常是好几步串起来的：模型、提示词、工具调用、流程设计，哪一环都可能烧钱。前面省掉1份评测表，后面很可能连钱到底烧在哪这4处都看不出来。显性的代价是花错钱，隐性的代价是你会一直围着功能更新打转，却看不到真正会改掉你下一步判断的那一步。
我后来补资料，才把这个坑看明白。OpenAI把“prompt-and-pray”这类“写完提示词就碰运气”的做法，直接点名成不可靠方法，主张用持续的分析、测量、改进飞轮去做稳定系统。[C003] 它在《Evals 指南》里又说得更直白：测试数据要覆盖代表性样本，还要有人类给出的标准答案，不然你根本没法判断结果到底合不合格。[C004] 说白了，评测集就是先拿一组固定题，把尺子立住。
更扎心的是，OAgents那篇论文还提到，很多智能代理工作因为缺少标准评测协议而不可复现，随机运行之间也会出现显著方差。[C005] 翻成人话就是：你今天觉得能用，明天再跑一遍，结果都可能飘。这个时候你多买模型、多开席位，未必是在买效果，更可能是在给随机性买单。
所以我现在会先问一句：一条更新值不值得看，不看它列了多少功能，先看它会不会改掉你下一步的判断。
这事也没必要搞成大厂流程。我的最低配做法，就是先写20条真实任务，再写通过标准和失败分类表，然后才决定值不值得继续投。如果你只是偶尔拿聊天模型写两段文案，这一步可以先不做；但如果你正想把智能代理用进客服回复、线索筛选或内容生产，这一步别省。
你身边如果有人正准备给客服、销售、运营上代理，这篇可以直接转给他：先别问买哪个，先问那20条题写没写。你自己要写的话，会先从哪20条真实任务开始？