怎么判断花在智能体上的 token 值不值

并行的智能体在账单到来之前，会让人觉得很有产出

哪些工作值得交给智能体，产出又是否对得起 token 花费，要怎么判断？Maximillian Piras 的回答是：在买方有一种熟悉的办法来判断这份工作之前，这笔花费一直没法管。在他勾勒出来、称为原则、并留作思路起点的矩阵上，有用的任务是那些步骤不确定到脚本不够用、结果检查起来比重做更便宜的任务。他把还缺的那种比较叫做 mouse power。这段录像的标题，本身就是一句主张：测不了的智能体，就管不了。

他在制造账单的那种习惯中间，把这句主张打开。向 World's Fair 的会场致谢之后，他说这场演讲谈的是用人们已经在用的心智模型来衡量智能体。在他描述的工作里，智能体是可以派向一个目标的、由模型驱动的工人，常常一次派好几个，用量按 token 计量。他说，自己讲话的时候，他的智能体仍在后台继续跑。他的注意力留在演讲上。它们的注意力去了幻灯片，而他认为幻灯片还需要改。设计系统已经搭好，指引也已经写好，他派一个智能体去试字体处理和版式，然后一次派很多个，因为一个永远不够，截止也近了。

他说，这同一种做法就是他的工作方式，也是会场里很多人的工作方式。主线注意力在一件事上的时候，就为还觉得没做完的调研、还觉得值得试的设计探索，开一队并行的智能体。感觉像是同一个小时里多榨出一些东西，而且有趣，直到账单到来。然后他问，这样编排值不值这些 token，自己是不是 vibe coding 得太狠——这是他用来称呼把智能体放开去跑的说法——以及自己是不是在 token-maxing，把这些计量单位花得好像花得越多就越等于进展越多。他说自己要用这场演讲来谈的问题，是怎样评估这笔成本，以及怎样帮助客户给它估价。他说自己正把智能体派去处理字体和版式，希望它们在截止前完成。他没有报告它们的结果。

• Mousepower：测不了的智能体就管不了

会场已经在跑成队的智能体。他交谈的买方仍在问智能体是干什么的

他把这个问题放进自己在一家计算机使用公司做创立之初的设计师的一年半里。这场演讲以 Yutori 的名义挂出。按他的描述，计算机使用模型学习像人那样使用计算机。它们的用处，是 API、程序之间的直接连接，或者 MCP——也就是让软件把工具和数据交给智能体的 Model Context Protocol——供应不了信息的那道缺口。把智能体派出去，再把原先难以够到的东西取出来、重新整形。他把这条路径称为比 API 或 MCP 效率更低，并称之为最后手段。这是他的产品定位。他说出这道效率差距时，没有附上测量。

他放到台上的画面是一个笑话：公司的智能体待在公司自己的网站上，看着自己的基准，用他的说法，正在欣赏自己。他说这有点怪，然后就过去了。他实际描述的工作是和客户交谈。他想弄清，人们在决定一个智能体值不值得派出去时用的是哪种心智模型，以及他们想要哪些用例。和他交谈的客户很兴奋，他说其中不少人到目前为止看起来是困惑的。他常听到的说法是，他们才刚刮到表面。怎样把智能体用好，还感觉不到直觉。问题反复出现：最好的用途是什么，token 成本该怎样和价值交换？他把这种判断看成行业仍在长出来的一块肌肉。兴奋、困惑、才刮到表面，是他说自己从交谈过的客户那里听到的。他不是在报告一项调查，也没有给出这些谈话的次数。

论点接着用他自己的话说出来。智能体有一个测量问题。用来说明的仍是笑话：一位同事拍下他试图测量智能体的样子，说他看上去像在破解 Pepe Silvia 之谜，那是一块拿来逗乐的阴谋论板。他同意这件事很难，然后把自己预期会从会场里听到的反驳演了一遍。有人已经有一队在跑，觉得测量也没什么问题，演讲进行的时候正在做下一个应用。他承认这种感觉。接着他指向一句 Upton Sinclair 的引文，话本身没有说出来。他抽出的要点是，这个会场是一个有偏的样本：早期采用者，为这项技术兴奋，很难代表他们希望以后会采用的那些人。他说，在某种意义上，在场的人直接或间接地在卖 token，所以他们自己的用量，很难描画出一个从未碰过智能体的人。其中一些人仍在把文字手工贴进 ChatGPT。他说自己和其中一位结了婚，而她没有让他为自己配上智能体。这个故事是一个家庭的事。

马力是一种粗比较，它让按马来想的买方愿意去试引擎

他把采用看成一个老的沟通问题。新技术让人兴奋，卖它的人还没找到说出它值多少的办法。这场演讲里，他回到 18 世纪，回到推销蒸汽机的 James Watt。在这个重述里，Watt 的用途是替换磨坊的动力 horse gin：一匹马拴在旋转臂上，绕着圈子走。酿酒厂、研磨大麦这个细节，是他先说出来、接着自己削弱的。他说自己不是做酿酒的人，并不确切知道工序怎么运转。这幅草图是他的，包括这份不确定。他说，当时这种 gin 很常见，Watt 认为蒸汽机是效率高得多的机器。

在 Piras 的讲述里，Watt 承认的障碍是认知失调。按马来想的买方被要求去信任一台冰冷、吓人的机器，有人在他们看见结果之前就承诺它能解决他们的问题。他说，这段差距对做智能体的人应当耳熟。Watt 的办法是学会买方的心智模型，并做一个把基准线放在所宣称增益下面的指标。他研究 horse gin，做了 Piras 称为扶手椅式测量的、关于机械和平均表现的估算，得到了马力：一个表示那些马在产出多少力的数字，再乘上引擎能够提供的倍数。

Piras 的读法是，这个指标并不很科学，也未必准确。它做的事是把价值的增加传达出去。喜欢马的人能够把增益估计到愿意去试引擎的程度。这个数字的工作是跨过“试一试”的门槛，而不是预测买方用上之后会得到什么。然后他讲了承载这个教训的笑话。效率在 Watt 一边，马的氛围仍然更好，所以这个指标必须把买方从喜爱挪到 ROI 的计算，也就是钱和力气的回报。他说，如果不能给客户一个摸得着的 ROI，价值就很难传达。

token 预算、排行榜和一张模型路由图，仍然没有碰到结果

他把这个教训转回技术行业。会场里的人可能把 ROI 当成已经解决的事。他说，另一些工程师理论上很锐利，却没那么浸在这个场景里，他们仍会在一个季度花掉全年的 token 预算，或者最终和 token 排行榜生活在一起。他没有点出公司、预算数字和日期。从这些场面，他得出激励仍然对不齐、这个行业仍然缺少正确的价值尺度。在他的框法里，更难的听众是那种还没有共用这套词汇、却仍然需要一张看得懂的图、来看智能体本应加上的那种效率的人。

他想打断的失败方式，是花得过多、用得不足的循环。他说这个说法借自 Ramp，Ramp 有一篇博客文章谈它。按他描述的循环，人们把 token 用到极致，掉进紧缩，退出，等到 FOMO——也就是怕错过——足够强，再回来。他说，更好的价值尺度才是打断这个循环的办法。那篇文章只作为这段台上的概述出现。

他还描述了 Coinbase 首席执行官发在 X 上的一张图。在同一段叙述里，他说他们还没有真正开始改人们从哪个模型起步的默认设置，他们试图把前沿模型留给最难的任务，结果 AI 支出开始和 token 用量分开。他称这是一个好的开头，又指回 Ramp 的文章，并说问题仍然是这太集中在 token 上。他没有附上百分比。时间停留在“最近”。

他的标准比 token 计数再往前一步。token 在系统内部是有用的尺度，却仍然只是产出。他希望它们被干净地追溯到一个结果：这笔花费压掉了多少 bug，关掉了多少支持请求，然后这些结果再绑到目标上的进展。他说，没有一把收紧的 ROI 尺度，这条链就很难画。bug 和工单停留为他所指的那类结果的例子。他没有给出公式，也没有给出带结果的案例。

写代码变快之后，约束移到了人的审查上

接着他说，同样的泄漏已经在这个会场里。人们享受和智能体一起写代码，用他的说法，感觉能力和效率都提高了。同时，用他的话，他们正死于一千个 pull request。pull request 是一项等着人处理的代码变更提议。他说，Anthropic 团队里一些没有点名的人声称写代码已经解决，同时也承认代码审查还没有解决。他是标题挂名为 Yutori 的那家公司创立之初的设计师，所以这句话是他转述 Anthropic 团队里的人，够不上 Anthropic 的公司立场。

他引出的后果是，瓶颈已经移到人的审查。人们在生成代码时感到的收益，还没有出现在发出去的工作里，因为大部分时间花在审查上，而审查没有跟着生成一起扩展开。约束坐在核验上，所以价值很难按代码出现的速度来测，质量也很难按那个速度来判。ROI 的计算于是以一种特定的方式停住：一个团队可以生成大量代码，却仍然没有办法知道其中够不够好、好到对得起这笔花费。

他允许代码审查也许原本就有缺陷，而智能体现在把缺陷暴露出来。他引用 Noah Hein 一篇关于解决代码审查的文章，概述要点，而不是朗读出来。现在必须重看的是代码审查底下的那些假设，在有人为智能体时代的审查立下新的依据之前，必须先核对那些先验。他说自己喜欢这个观点，然后不接这个任务。他说，解决代码审查是另一个人的另一场演讲。

他留下的，是审查为什么看上去本来就可解。作为一种文化，代码审查已经收敛到共享的假设上，而这种收敛让测量能够变成评分标准。现在的任务是把这些假设改到适合智能体，让计算机速度的测量配得上计算机速度的执行，并让这些测量贴合使用它们的客户的心智模型。他陈述的教训是：做智能体，包含一种让客户核验产出是好的方法，以及一条清楚到足以说明这笔花费值不值的 ROI 路径。

mouse power 是买方认得出来的基线，光标测速器是个玩笑

mouse power 是他给这件事起的名字，作为智能体时代的马力提出来。Watt 可以相对 gin 里的马给出一个效率倍数。Piras 想要的是今天人们怎样使用计算机的一条基线，然后再展示在同一项任务上，智能体在哪些方向上表现更好。他说这件事比 Watt 的更难。没有一台可以站在旁边计时的单一机器。

他为照字面理解的人准备了一个笑话。他说自己让 Claude 用 vibe coding 做了一台测量装置，当时的想法是，给指针划过屏幕的速度计时，也许能得到 mouse power 的一个干净尺度。接着他说自己只是在开玩笑。指针的运动是白费力气，因为信息空间的维度太高，没法那样捕捉。他说，mouse power 永远不会成为一个指标。它是一个想法。

对任何卖智能体的人，这个想法是：这笔买卖里要包含一套买方能用来核验工作是好的、因而 token 是值的评分标准。评分标准怎么建，由建造的人决定。他说自己没法告诉会场怎么做，也没有一套挑选测量的好框架。他愿意给出的部分是原则。

挑选路径不确定到需要智能体、而结果检查起来便宜的任务

他一直在翻的那条工作原则来自 Claude Shannon。按他给的解说，熵是一个概率分布的不确定性。他说，这个想法很大程度上正是今天训练智能体的基础，交叉熵是智能体变得多能干的一个大因素。他想把同一个词指向任务，而不只指向智能体有多能干。演讲停在这层解说上。

他有一张矩阵。一条轴是步骤里的不确定性。订机票靠近低的一端，因为一次购买有必须发生的事件：出发地、到达地，以及一个座位，由旅客选择或被分配。画一幅杰作在高的一端。他说谁知道那些步骤，而一条相对可预测的路径会非常难铺出来。即便如此，仍可能把智能体对准那幅画。另一条轴是验收标准的不确定性，也就是给结果打分的标准。智能体能够执行这项任务并不够。得有人有一种干净的办法给它打分。他说，对要做什么，两条轴的交点比只问这项任务有没有价值是更好的向导。听的人可以再用的，是他陈述的例子和规则。

在步骤的不确定性上，可预测的路径得到一句直话：跳过 token，去写脚本。非常高的不确定性意味着信息无法预测。他称之为糟糕的智能体任务。它很可能落在预训练的分布之外，也就是不像模型学过的数据，并且在强化学习里很可能给出稀疏奖励，也就是稀少的成功信号。这里的强化学习指从奖励信号学习。他说，在那个区域，数据要难建模得多。转向那张图时，他把舞台左侧和右侧搞混了，并说前一位讲者也在同一件事上犯糊涂。图上的标签只有一部分被说出来。他讲到中间时已经超时。他说自己没有被示意下台，然后很快收尾。他称为甜蜜点的中间，是不确定性刚好够有意思的那一带：比脚本更开放，又仍在训练够得着的里面。

验收标准横切这一带。那里的不确定性高，就意味着核验和执行分不开。要知道产出有用，一个人得把工作再做一遍，token 就浪费了。他留在中间的，是不确定性足以不放进脚本、仍然可训练、又相对容易验证的任务。他把这种形状比作 NP 风格的问题，他的意思是验证比执行更容易。这个类比说的是工作的形状。他说，如果检查是一种可重复的模式，也可以派一个智能体去做检查。你建造做事的智能体，也建造核验它的智能体。

他把这张矩阵称为仍在制作中的思路起点，并邀请批评。他收尾时寄托的希望是：下一个建造智能体的人，也建造它的 mouse power，也就是让这笔花费可以被判断的核验模式。

框架还没完成时，写代码的人可以先用的部分

他的矩阵仍是一个思路起点，里面的分类规则已经可以用。下一次并行运行之前，把路径写下来。已经可预测的路径属于脚本。如果要知道结果好不好，唯一的办法是把任务重做，就把它留给人。在路径有一些不确定性、任务看起来仍可训练、可重复的检查比工作更容易的地方，他的建议是一个干活的智能体加一个核验的智能体。他已经点出能让花费读得懂的结果：压掉的 bug 或关掉的支持请求，然后是这些计数本应推动的目标上的进展。

用这条规则时，带着他留在上面的限度。矩阵没有完成。他命名甜蜜点的时候已经没时间了，并请会场来跟他争。mouse power 是他造的名字，指一种买方认得出来的比较。指针速度计是一个笑话，用来反对把这个名字当成可以计时的单位。客户那边的话，是他说自己在谈话里听到的：兴奋、困惑，以及才刮到表面。他没有提供调查。写代码已经解决、代码审查还没有解决，是他转述 Anthropic 团队里没有点名的人，够不上公司立场。他把自己的工作描述为视频标题挂名为 Yutori 的那家公司创立之初的设计师。他点了 Noah Hein 的名，并概述一篇代码审查文章，没有朗读出来。Ramp 的循环和 Coinbase 的图表是台上的描述，没有数字。关于那张图，他说他们还没有真正开始改变人们从哪个模型起步，他也说 AI 支出因此和 token 用量分开了。包括酿酒厂在内的 horse gin 是他的草图，他说自己不确定酿造怎么运转。在他的说法里，计算机使用是 API 或 MCP 供应不了信息时效率更低的最后手段，他没有给这道差距附上测量。他希望下一步被造出来的，是买方认得出来的核验。这场演讲没有把 mouse power 变成一个工作单位。