エージェントに投じたトークンが値打ちあったかどうか、どうすればわかるか

並列のエージェントは生産的に感じられ、請求書が来ると様子が変わります

どの仕事をエージェントに渡す価値があり、その産出がトークンの支出に見合うかを、どう判断するか。Maximillian Pirasの答えは、買い手が仕事を判断する馴染みの方法を持つまで、その支出は扱えないままだ、というものです。彼がスケッチし、原則と呼び、思考のきっかけとして残した行列の上で、役に立つ仕事は、手順が不確かでスクリプトでは足りず、結果をやり直すより検査するほうが安い仕事です。足りないその比較を、彼はマウスパワーと呼びます。録画の題は、測定できないエージェントは管理できないエージェントだ、という主張になっています。

彼はその主張を、請求書を生む習慣のただ中で開きます。World's Fairの会場に礼を述べたうえで、この講演は人々がすでに使っているメンタルモデルでエージェントを測る話だと言います。彼が説明する仕事でのエージェントは、目標に向かって送れるモデル駆動の働き手で、しばしば複数を一度に送り、使用量はトークンで計られます。話している間も自分のエージェントはバックグラウンドで動き続けている、と彼は言います。彼の注意は講演に残ります。エージェントの注意はスライドに向かい、彼はそのスライドにまだ手が要ると考えています。デザインシステムはすでにあり、指針もすでに書かれていて、彼は字組みとレイアウトを探らせるためにエージェントを一台送り、続いて多数を一度に送ります。一台ではいつも足りず、締切が近いからです。

同じ型が自分の働き方であり、会場の多くの人の働き方でもある、と彼は言います。本筋が一つのことに向いているあいだ、まだ終わっていないと感じる調査と、まだ試す価値があると感じるデザインの探索に、並列の一群を走らせます。同じ一時間から多くを引き出している感じがして、楽しい。請求書が届くまでです。そこで彼は、その段取りはトークンに見合ったか、エージェントを放っておく自分の言い方であるバイブコーディングをやりすぎたか、計量された単位を多く使うことが多くの進捗と同じだとして使うトークンマキシングをしていなかったか、と問います。講演の時間を使うと彼が言う問いは、その費用をどう評価し、顧客がその値打ちを見積もれるようにどう助けるかです。字とレイアウトにエージェントを送っている最中で、締切前に終わることを望む、と彼は言います。それらの結果は報告しません。

• Mousepower: 測定できないエージェントは管理できない

会場はすでに群れを走らせています。彼が話す買い手は、エージェントが何のためかをまだ尋ねています

彼はこの問いを、コンピュータを人のように使う会社の創業時からのデザイナーとして過ごした一年半に置きます。講演はYutoriの名で掲げられています。彼が説明するコンピュータ使用のモデルは、人と同じようにコンピュータを使うことを学びます。それらの出番は、API、プログラム同士の直接の接続、あるいはソフトウェアがエージェントにツールとデータを渡せるようにするModel Context ProtocolであるMCPが、情報を渡せない隙間です。エージェントを外へ送り、以前は届きにくかったものを引き出して形を整えます。その経路はAPIやMCPより効率が低く、最後の手段だと彼は呼びます。これが彼の製品の位置づけです。効率の差は、測定を添えずに述べます。

舞台に出す絵は冗談です。会社のエージェントが会社自身のサイトで自分のベンチマークを見て、彼の言い方では、自分に見とれています。少し奇妙になると言って、先へ進みます。彼が実際に説明する仕事は顧客との会話です。人がエージェントを送る価値があると判断するときにどのメンタルモデルを使うか、どの用途を望むかを知ろうとしています。話す相手の顧客は興奮していて、その多くは今のところ迷っているように見える、と彼は言います。よく聞く言葉は、まだ表面をなぞっているだけだ、というものです。エージェントをうまく使う感じがまだ直感に落ちていません。問いは繰り返されます。最善の使い方は何か、トークンの費用と価値をどう引き換えにするか。その判断を、彼は業界がまだ鍛えている筋肉として扱います。興奮、混乱、表面をなぞる段階は、話す相手の顧客から聞いていると彼が言う内容です。調査の報告ではなく、その会話の件数も示しません。

命題は彼の言葉で続きます。エージェントには測定の問題がある。図示も冗談です。同僚が、エージェントを測ろうとする彼を撮って、笑いのために使われる陰謀ボード、Pepe Silviaの謎を解いているように見えると言った、というものです。彼はその仕事が難しいことに同意し、会場から出ると予想する反論を自分で演じてみせます。すでに群れを走らせ、その測定にも問題を感じず、講演のあいだに次のアプリを作っている人がいる。彼はその感じを認めます。それからUpton Sinclairの引用を指し、言葉そのものは口にしません。彼が引き出す要点は、この会場が偏った標本だということです。早期の採用者で、技術に沸いていて、あとから採用してほしい人々の代わりとしては弱い。ある意味、そこにいる人々は直接または間接にトークンを売っているので、彼ら自身の使い方は、エージェントに一度も触れたことのない人の絵としては弱い、と彼は言います。そうした人々の一部は、今も文章を手でChatGPTに貼り付けています。彼はその一人と結婚していて、彼女はエージェントの設定を許していない、と言います。その話は一世帯の話です。

馬力は、馬で考える買い手にエンジンを試させた粗い比較でした

彼は導入を、古い伝達の問題として扱います。新しい技術は心を躍らせ、それを売る人はまだその値打ちの言い方を見つけていません。この講演で彼は1700年代と、蒸気機関を売っていたJames Wattに戻ります。この語り直しでは、Wattの用途は製粉所の動力だったhorse ginを置き換えることでした。馬を回転する腕につなぎ、円を歩かせる装置です。大麦を挽く醸造所の細部は、彼が出したあと自分で弱めます。自分は醸造の人間ではなく、工程が正確にどう動くかは知らない、と言います。その不確かさも含めて、スケッチは彼のものです。当時ginはありふれていて、Wattは蒸気機関のほうがはるかに効率の良い機械だと考えていた、と彼は言います。

Pirasの語りでは、Wattが認めたい障壁は認知的不協和でした。馬で考える買い手は、結果を見る前に問題が解けると誰かが約束する、冷たく威圧的な機械を信じるよう求められていました。その隔たりは、エージェントに携わる人には聞き覚えがあるはずだ、と彼は言います。Wattの解は、買い手のメンタルモデルを学び、主張する利得の下に基準線を置く指標を作ることでした。彼はhorse ginを調べ、Pirasが安楽椅子の測定と呼ぶやり方で機構と平均的な性能を測り、馬力に至りました。馬が生み出していた力の数値であり、続いてエンジンが提供できるものへの倍率です。

Pirasの読みでは、その指標はあまり科学的ではなく、必ずしも正確でもありませんでした。したことは、価値の増加を伝えることでした。馬を愛する人は、エンジンを試すには足りる程度に利得の大きさを見積もれました。数字の仕事は、使ってみるハードルを越えることであり、使い始めたあと買い手が何を得るかを予測することではありませんでした。それから彼は、教訓を乗せた冗談をします。効率はWattの側にあり、雰囲気はまだ馬のほうが上だったので、指標は買い手を愛情からROI、つまりお金と手間の戻りを計算するところへ移さなければなりませんでした。顧客に手で触れるROIを渡せなければ、価値を伝えるのは非常に難しい、と彼は言います。

トークン予算もリーダーボードも、モデル振り分けのチャートも、結果にはまだ届きません

彼はその教訓を技術産業に返します。会場の人はROIを解決済みとして扱うかもしれません。理論的には鋭く、この場にはそれほど浸かっていない他のエンジニアが、今も年間のトークン予算を四半期で使い切ったり、トークンのリーダーボードと暮らすことになったりしている、と彼は言います。会社名も、予算の数字も、日付も挙げません。それらの場面から、インセンティブはまだずれていて、この分野にはまだ価値の正しい尺度がない、と結論します。彼の枠組みでより難しい聴き手は、まだこの語彙を共有しておらず、エージェントが加えるはずの効率がどんな絵なのか、読める形を必要としている人です。

断ちたい失敗の型は、使いすぎと使わなさの循環です。その用語はRampから借り、Rampにそれについてのブログ記事がある、と彼は言います。彼が描く循環では、人はトークンマキシングの末に緊縮へ落ち、離れ、FOMO、つまり取り残される恐れが十分強くなると戻ってきます。価値のより良い尺度が、この循環を断つ方法だと彼は言います。その記事は、この舞台の要約としてだけ現れます。

Coinbaseの最高経営責任者がXに投稿したチャートも説明します。同じ語りのなかで彼は、人がどのモデルから始めるかの初期設定を本格的にはまだ変え始めておらず、最も難しい仕事にはフロンティアモデルを残そうとしていて、その結果AI支出がトークン使用量から乖離し始めた、と言います。それを良い始まりと呼び、Rampの記事に戻り、問題は今もこれがトークンに寄りすぎていることだと言います。百分率は添えません。時期は「最近」のままです。

彼の基準はトークン数の一歩先にあります。トークンはシステムの内側では役に立つ尺度であり、それでもまだ産出にすぎません。支出で何件のバグを潰し、何件のサポート依頼を閉じ、それらの結果が目的の進捗に結びつくか。トークンをその結果まできれいにたどりたい、と彼は言います。ROIの緻密な尺度がなければ、その連鎖は非常に引きにくい、と言います。バグとチケットは、彼が意味する結果の種類の例のままです。式も、結果のついた事例も出しません。

コーディングが速くなり、制約は人のレビューへ移りました

同じ漏れがすでにこの会場にある、と彼は続いて言います。人々はエージェントとのコーディングを楽しみ、彼の言い方では、能力と効率が増したと感じています。同時に、彼の言葉では、千本のプルリクエストで死にかけています。プルリクエストは、人の確認を待つコード変更の提案です。Anthropicチームの名を挙げない何人かが、コーディングは解決済みだと主張し、コードレビューは解決していないとも認めた、と彼は言います。彼はタイトルがYutoriと掲げる会社の創業時からのデザイナーなので、この発言はAnthropicチームの人々についての彼の伝聞であり、Anthropicの会社としての立場には届きません。

彼が引き出す帰結は、ボトルネックが人のレビューへ移ったということです。コードを生成しているときに感じる利得は、出荷される仕事にはまだ現れていません。時間のほとんどがレビューに向かい、レビューは生成と並んで広がっていないからです。制約は検証にあるので、コードが現れる速度で価値を測ることも、その速度で品質を判断することも難しい。ROIの計算は、特定の形で止まります。チームは大量のコードを生成できても、そのうち支出を正当化するのに足りるだけが良いと知る方法を欠いたままです。

コードレビューにはもともと欠陥があったかもしれず、エージェントが今その欠陥を露出させている、と彼は余地を残します。コードレビューを解くことに関する投稿からNoah Heinを引き、声に出して読む代わりに要点を要約します。今見直すべきはコードレビューの下にある仮定であり、エージェント時代のレビューに新しい基礎を置く前に、これまでの事前の前提を点検しなければならない、という内容です。その指摘が好きだと言ったうえで、課題は引き受けません。コードレビューを解くことは、別の誰かの別の講演だ、と彼は言います。

彼が持ち帰るのは、レビューがそもそも解けそうに感じられる理由です。文化としてコードレビューはすでに共有された仮定へ集まり、その集まりが測定を採点基準に変えます。今の仕事は、その仮定をエージェント向けに合わせ直すことです。コンピュータ速度の実行にコンピュータ速度の測定が並び、その測定が使う顧客のメンタルモデルに合うようにするためです。彼が述べる教訓は、エージェントを作ることには、顧客が産出の良さを確かめる方法と、支出を正当化するのに足りるほど明確なROIへの道が含まれる、ということです。

マウスパワーは買い手が見分けられる基準線で、ポインタの速度計は冗談です

マウスパワーは、彼がその仕事に付けた名前で、エージェントの時代の馬力として出されたものです。Wattはginの中の馬に対する効率の倍率を示せました。Pirasが欲しいのは、今日の人がコンピュータを使う仕方の基準線と、同じ仕事でエージェントがより高い性能を出す方向の提示です。その仕事はWattの仕事より難しい、と彼は言います。横に置いて時間を測る単一の機械がないからです。

字義どおりに読む人のための冗談を用意しています。画面をポインタがどれだけ速く横切るかを計れば、マウスパワーのきれいな尺度になるかもしれないと考え、Claudeに測定器をバイブコーディングさせた、と彼は言います。続いて、冗談にすぎないと言います。ポインタの動きは無駄骨です。情報の空間は、そのやり方で捉えるには次元が高すぎるからです。マウスパワーは指標には決してならない。アイデアだ、と彼は言います。

エージェントを売る人にとってこのアイデアは、販売のなかに、仕事が良いこと、したがってトークンが値打ちあることを買い手が確かめられる採点基準が含まれる、ということです。採点基準の作り方は作る人に任されます。会場にその方法は言えず、測定の選び方について良い枠組みも持っていない、と彼は言います。渡せるのは原則の部分です。

経路がエージェントを要するほど不確かで、結果の検査が安い仕事を選びます

彼が転がしてきた作業上の原則はClaude Shannonから来ます。彼が添える説明では、エントロピーは確率分布の不確かさです。その考えは今日エージェントを訓練する仕方の土台にかなり近く、交差エントロピーはエージェントがどれだけ有能になるかの大きな因子だ、と彼は言います。同じ言葉を、エージェントの能力だけでなく課題のほうへ向けたい、と考えています。講演はその説明にとどまります。

彼には行列があります。一方の軸は手順の不確かさです。航空券の予約は低い側にあります。購入には必要な出来事があるからです。出発地、到着地、そして旅行者が選ぶか割り当てられる座席です。傑作を描くことは高い側にあります。手順を誰が知るのか、と比較的予測できる経路を敷くのは非常に難しい、と彼は言います。それでもエージェントを絵のほうへ向けることはあり得ます。もう一方の軸は受け入れ基準、つまり結果を採点する基準の不確かさです。エージェントがその仕事を実行できるだけでは足りません。誰かがそれをきれいに採点する方法を必要とします。何を作るかの案内としては、その仕事が価値があるかどうかだけを問うより、二つの軸が交わる場所のほうが良い、と彼は言います。聞き手が再利用できるのは、彼が述べる例と規則です。

手順の不確かさについて、予測できる経路にはぶっきらぼうな指示が付きます。トークンを飛ばしてスクリプトを書け、というものです。不確かさが非常に高いとは、情報を予測できないということです。彼はそれを悪いエージェントの課題と呼びます。事前学習の分布の外である可能性が高い。モデルが学んだデータと違う、という意味です。強化学習では疎な報酬、つまり稀な成功の信号が出やすい、とも言います。ここでの強化学習は、報酬の信号から学ぶという意味です。その領域では、データはモデル化するのがはるかに難しい、と彼は言います。図に向き直るとき、彼は舞台の左と右を取り違え、前の登壇者も同じことで混乱していたと言います。図のラベルは、言葉としては一部だけ出ます。真ん中に達するころには持ち時間を過ぎています。降ろす合図は受けていないと言い、急いで終えます。彼がスイートスポットと呼ぶ真ん中は、興味を引くのに足りる不確かさの帯です。スクリプトより開いていて、それでも訓練が届く内側です。

受け入れ基準はその帯を横切って切ります。そこでの不確かさが高いと、検証と実行は区別できません。産出が役に立ったと知るには人が仕事をやり直すことになり、トークンは無駄になります。彼が真ん中に残すのは、スクリプトに載せないだけの不確かさがあり、まだ訓練でき、検証は比較的易しい課題です。その形をNP型の問題にたとえます。実行するより検証するほうが易しい、という意味で使っています。たとえは仕事の形についてのものです。検査が繰り返せる型なら、検査にもエージェントを送れる、と彼は言います。仕事をするエージェントと、それを検証するエージェントを作ります。

この行列を、まだ作業中の思考のきっかけと呼び、批判を招きます。閉じるときに置く希望は、次のエージェントを作る人がそのマウスパワーも作ることです。支出を判断できるようにする検証の型です。

枠組みがまだ終わっていないあいだに、実装者が使えることです

彼の行列は今も思考のきっかけであり、その中の仕分けの規則はすでに使えます。次の並列実行の前に、経路を書き留めておきます。すでに予測できる経路はスクリプトに属します。結果が良いか知る唯一の方法が課題のやり直しなら、人の手元に残します。経路にいくらか不確かさがあり、課題がまだ訓練できそうで、繰り返せる検査が仕事より易しいところでは、彼の提案は作業エージェントと検証エージェントです。支出を読めるようにする結果として彼がすでに挙げているのは、潰したバグや閉じたサポート依頼であり、続いてそれらの数値が動かすはずの目的の進捗です。

その規則は、彼が残した限界と一緒に使います。行列は未完成です。スイートスポットを名付けたとき彼は時間を過ぎていて、会場に自分へ異論を出すよう求めました。マウスパワーは、買い手が見分けられる比較のために彼が作った名前です。ポインタの速度計は、その名前を時間で測れる単位として扱わないための冗談です。顧客の言葉として彼が会話で聞いていると言うのは、興奮、混乱、まだ表面をなぞる段階です。調査は出していません。コーディングは解決済みでコードレビューは未解決だという主張は、Anthropicチームの名のない人々についての彼の伝聞であり、会社の立場には届きません。自分の仕事は、映像タイトルがYutoriと掲げる会社の創業時からのデザイナーだと説明します。Noah Heinの名を挙げ、コードレビューの投稿は声に出して読まずに要約します。Rampの循環とCoinbaseのチャートは、数字のない舞台上の説明です。チャートについて彼は、人がどのモデルから始めるかを本格的にはまだ変え始めていないと言い、その結果としてAI支出がトークン使用量から乖離したとも言います。醸造所を含めたhorse ginは彼のスケッチで、醸造がどう動くかは自分でも不確かだと言います。彼の説明では、コンピュータ使用はAPIやMCPが情報を渡せないときの、効率のより低い最後の手段であり、その差に測定は添えていません。次に作られてほしいと彼が望む断片は、買い手が見分けられる検証です。この講演は、マウスパワーを仕事の単位にはしていません。