에이전트에 쓴 토큰이 값어치가 있었는지는 어떻게 압니까

병렬 에이전트는 생산적으로 느껴지다가 청구서가 오면 달라집니다

어떤 일을 에이전트에 맡길 만한지, 그 산출이 토큰 지출을 메우는지는 어떻게 판단합니까. Maximillian Piras의 답은, 구매자가 일을 판단할 익숙한 방법을 갖기 전에는 그 지출을 관리하기 어렵다는 것입니다. 그가 스케치하고 원칙이라고 부르며 생각의 출발점으로 남겨 둔 행렬에서, 쓸모 있는 일은 단계가 불확실해서 스크립트로는 되지 않고 결과는 다시 하는 것보다 검사하는 편이 싼 일입니다. 아직 없는 그 비교를 그는 마우스 파워라고 부릅니다. 녹화의 제목은, 측정할 수 없는 에이전트는 관리할 수 없는 에이전트라는 주장으로 붙어 있습니다.

그는 청구서를 만드는 습관 한가운데에서 그 주장을 엽니다. World's Fair의 청중에게 감사를 전한 뒤, 이 강연은 사람들이 이미 쓰는 멘탈 모델로 에이전트를 재는 이야기라고 말합니다. 그가 설명하는 일에서 에이전트는 목표로 보낼 수 있는 모델 기반 일꾼이고, 흔히 여러 대를 한꺼번에 보내며, 사용량은 토큰으로 계량됩니다. 자신이 말하는 동안에도 자기 에이전트는 백그라운드에서 계속 돌아간다고 합니다. 그의 주의는 강연에 머뭅니다. 에이전트의 주의는 슬라이드로 가는데, 그는 슬라이드가 더 손봐야 한다고 봅니다. 디자인 시스템은 이미 갖춰져 있고 지침도 이미 쓰여 있으며, 그는 서체 처리와 레이아웃을 탐색하라고 에이전트 하나를 보낸 다음 여러 대를 한꺼번에 보냅니다. 하나로는 늘 부족하고 마감이 가깝기 때문입니다.

이 패턴이 자신의 일하는 방식이고, 방 안 많은 사람의 일하는 방식이라고 그는 말합니다. 본업의 초점이 한곳에 가 있을 때마다, 아직 덜 끝난 리서치와 아직 시도할 만한 디자인 탐색에 병렬 무리를 띄웁니다. 같은 시간에서 더 건지는 느낌이고 재미도 있습니다. 청구서가 도착하기 전까지는 그렇습니다. 그러고 나서 그 순서 배치가 토큰 값어치가 있었는지, 에이전트를 풀어 둔다는 자신의 말인 바이브 코딩을 너무 세게 했는지, 계량된 단위를 더 쓰는 것이 더 많은 진전과 같다고 여기며 쓰는 토큰 맥싱을 했는지를 묻습니다. 강연을 들여 다루겠다는 질문은 그 비용을 어떻게 평가하고, 고객이 그 값을 매기도록 어떻게 도울지입니다. 서체와 레이아웃에 에이전트를 보내는 중이며 마감 전에 끝나기를 바란다고 말합니다. 그 에이전트의 결과는 보고하지 않습니다.

• Mousepower: 측정할 수 없는 에이전트는 관리할 수 없다

방은 이미 무리를 돌립니다. 그가 만나는 구매자는 여전히 에이전트가 무엇을 위한 것인지 묻습니다

그는 이 질문을 컴퓨터 유스 회사의 파운딩 디자이너로 보낸 1년 반에 놓습니다. 강연은 Yutori로 소개됩니다. 그가 설명하는 컴퓨터 유스 모델은 사람처럼 컴퓨터를 쓰도록 배웁니다. 이들의 자리는, API나 프로그램 사이의 직접 연결, 또는 소프트웨어가 에이전트에게 도구와 데이터를 넘기게 하는 Model Context Protocol인 MCP가 정보를 대지 못하는 빈칸입니다. 에이전트를 내보낸 뒤, 이전에는 닿기 어려웠던 것을 끌어와 다시 빚습니다. 그 경로는 API나 MCP보다 효율이 낮고, 최후의 수단이라고 그는 부릅니다. 이것이 그의 제품 포지셔닝입니다. 효율의 간격은 측정을 붙이지 않은 채 말합니다.

무대에 올리는 그림은 농담입니다. 회사 에이전트가 회사 사이트에서 자기 벤치마크를 보며, 그의 말로는, 스스로를 구경합니다. 조금 이상해진다고 한 뒤 넘어갑니다. 그가 실제로 설명하는 일은 고객과의 대화입니다. 사람들이 에이전트를 보낼 만하다고 볼 때 어떤 멘탈 모델을 쓰는지, 어떤 사용 사례를 원하는지 배우려 합니다. 그가 만나는 고객은 들떠 있고, 상당수는 지금까지 혼란스러워 보인다고 합니다. 자주 듣는 말은 아직 표면만 긁고 있다는 것입니다. 에이전트를 잘 쓰는 법이 아직 손에 익지 않습니다. 질문은 반복됩니다. 가장 좋은 용도는 무엇인지, 토큰 비용과 가치는 어떻게 맞바꿀지입니다. 그 판단을 그는 업계가 아직 키우는 근육으로 봅니다. 들뜸, 혼란, 표면만 긁는 단계는 그가 만난 고객에게서 듣는다고 말하는 내용입니다. 설문은 아니고, 대화의 수도 주지 않습니다.

명제는 그의 말로 이어집니다. 에이전트에는 측정 문제가 있습니다. 그림 또한 농담입니다. 동료가 에이전트를 재려는 그를 찍어 두고, 웃음용 음모론 보드인 Pepe Silvia의 미스터리를 푸는 것처럼 보인다고 했습니다. 그는 그 일이 어렵다는 데 동의한 뒤, 방에서 나올 반론을 직접 연기합니다. 누군가는 이미 무리를 돌리고, 측정이 괜찮다고 느끼며, 강연이 진행되는 동안 다음 앱을 만들고 있습니다. 그는 그 느낌을 인정합니다. 이어서 Upton Sinclair의 인용을 가리키고 문장 자체는 말하지 않습니다. 그가 끌어내는 요점은 이 방이 편향된 표본이라는 것입니다. 얼리 어답터이고 기술에 들떠 있으며, 나중에 받아들이길 바라는 사람을 대신하기에는 약합니다. 어떤 의미에서 그 자리의 사람들은 직간접으로 토큰을 팔고 있으므로, 그들의 사용은 에이전트를 한 번도 만져 보지 않은 사람의 그림으로는 약하다고 말합니다. 그중 일부는 여전히 글을 ChatGPT에 손으로 붙여 넣습니다. 그는 그중 한 사람과 결혼해 있고, 그녀는 에이전트 설정을 허락하지 않았다고 합니다. 그 이야기는 한 가구의 이야기입니다.

마력은 말 기준으로 생각하던 구매자가 엔진을 써 보게 만든 거친 비교였습니다

그는 도입을 오래된 커뮤니케이션 문제로 다룹니다. 새 기술은 신나고, 파는 사람은 아직 그 값어치를 말하는 길을 찾지 못했습니다. 이 강연에서 그는 1700년대와, 증기기관을 팔던 James Watt로 돌아갑니다. 이 다시 이야기에서 Watt의 용도는 방앗간의 동력인 horse gin을 대체하는 일이었습니다. 말이 회전하는 팔에 매인 채 원을 그리며 걷는 장치입니다. 보리를 간다는 양조장 세부 사항은 그가 꺼낸 뒤 스스로 약화합니다. 자신은 양조장 사람이 아니고 공정이 정확히 어떻게 도는지 모른다고 말합니다. 그 불확실성까지 포함해 스케치는 그의 것입니다. 당시 gin은 흔했고, Watt는 증기기관이 훨씬 효율적인 기계라고 생각했다고 그는 말합니다.

Piras가 전하는 이야기에서 Watt가 인정한 장벽은 인지 부조화였습니다. 말 기준으로 생각하던 구매자는, 결과를 보기 전에 문제가 풀릴 것이라고 누군가 약속하는 차갑고 위압적인 기계를 믿으라는 요구를 받았습니다. 그 간격은 에이전트를 만드는 사람에게 익숙하게 들려야 한다고 그는 말합니다. Watt의 해법은 구매자의 멘탈 모델을 익히고, 주장하는 이득 아래에 기준선을 두는 지표를 만드는 일이었습니다. 그는 horse gin을 살펴보고, Piras가 안락의자 측정이라고 부르는 방식으로 기구와 평균 성능을 재어 마력에 이르렀습니다. 말이 내던 힘의 수치이고, 이어서 엔진이 줄 수 있는 것에 곱하는 배수입니다.

Piras가 읽는 바는, 그 지표가 그다지 과학적이지 않았고 반드시 정확하지도 않았다는 것입니다. 한 일은 가치의 증가를 전달한 것입니다. 말을 아끼던 사람은 엔진을 시험해 볼 만큼은 이득의 크기를 가늠할 수 있었습니다. 숫자의 역할은 한번 써 보는 문턱을 넘는 것이었고, 쓰기 시작한 뒤에 구매자가 무엇을 받게 될지를 예측하는 일은 아니었습니다. 이어서 그는 교훈을 실은 농담을 합니다. 효율은 Watt 편이었고 분위기에서는 아직 말이 나았으므로, 지표는 구매자를 애정에서 ROI, 곧 돈과 노력의 수익 계산으로 옮겨야 했습니다. 고객에게 손에 잡히는 ROI를 주지 못하면 가치는 전하기 매우 어렵다고 그는 말합니다.

토큰 예산과 리더보드, 모델 라우팅 차트는 여전히 결과에 닿지 못합니다

그는 그 교훈을 기술 업계로 되돌립니다. 방 안의 사람들은 ROI를 이미 풀린 문제로 볼 수 있습니다. 이론적으로는 날카롭지만 이 현장에 덜 잠긴 다른 엔지니어들은, 연간 토큰 예산 전체를 한 분기에 써 버리거나 토큰 리더보드와 함께 살게 된다고 그는 말합니다. 회사 이름, 예산 수치, 날짜는 밝히지 않습니다. 그 장면에서 그는 인센티브가 아직 어긋나 있고 업계에 아직 올바른 가치의 척도가 없다고 결론 내립니다. 그의 틀에서 더 어려운 청중은, 아직 이 말을 공유하지 않으면서도 에이전트가 더한다는 효율이 어떤 그림인지 읽을 수 있어야 하는 사람입니다.

그가 끊고 싶은 실패 모습은 많이 쓰고 적게 쓰는 고리입니다. 그 용어는 Ramp에서 빌려 왔고, Ramp에 그에 관한 블로그 글이 있다고 말합니다. 그가 설명하는 순환에서 사람들은 토큰 맥싱으로 긴축에 들어가고, 빠져나갔다가, FOMO 곧 놓칠지 모른다는 두려움이 충분히 커지면 돌아옵니다. 가치의 더 나은 척도가 이 고리를 끊는 방법이라고 그는 말합니다. 그 글은 이 무대의 요약으로만 있습니다.

Coinbase 최고경영자가 X에 올린 차트도 설명합니다. 같은 서술에서 그는, 사람들이 어느 모델에서 시작하는지를 정하는 기본값을 아직 본격적으로 바꾸기 시작하지 않았고, 가장 어려운 일에는 프런티어 모델을 남겨 두려고 했으며, 그 결과 AI 지출이 토큰 사용량과 벌어지기 시작했다고 말합니다. 그는 그것을 괜찮은 시작이라고 부르고 Ramp 글로 돌아간 뒤, 문제는 여전히 이것이 토큰에 너무 모여 있다는 점이라고 합니다. 퍼센트는 붙이지 않습니다. 시점은 최근이라는 말에 머뭅니다.

그의 기준은 토큰 개수에서 한 걸음 더 있습니다. 토큰은 시스템 안에서는 쓸모 있는 척도이고, 그래도 아직 산출일 뿐입니다. 그는 토큰이 결과에 깨끗하게 이어지기를 바랍니다. 그 지출로 버그를 몇 개 잡았는지, 지원 요청을 몇 건 닫았는지, 그리고 그 결과가 목표의 진전과 묶이는지입니다. ROI를 촘촘히 재지 못하면 그 사슬은 긋기 매우 어렵다고 말합니다. 버그와 티켓은 그가 뜻하는 결과의 종류를 보여 주는 예로 남습니다. 공식도, 결과가 붙은 사례도 내놓지 않습니다.

코딩이 빨라지면서 제약은 사람의 리뷰로 옮겨 갔습니다

이어서 같은 누수가 이미 이 방 안에 있다고 그는 말합니다. 사람들은 에이전트와 코딩하는 일을 즐기고, 그의 표현으로는 능력과 효율이 늘었다고 느낍니다. 동시에 그의 말로는 풀 리퀘스트 천 번에 치여 죽어 갑니다. 풀 리퀘스트는 사람의 확인을 기다리는 코드 변경 제안입니다. Anthropic 팀에서 이름을 밝히지 않은 일부 사람들이 코딩은 풀렸다고 주장하면서도 코드 리뷰는 풀리지 않았다고 인정했다고 그는 말합니다. 그는 제목이 Yutori로 소개하는 회사의 파운딩 디자이너이므로, 이 말은 Anthropic 팀 사람들에 대한 그의 전언이고 Anthropic의 회사 입장에는 미치지 못합니다.

그가 끌어내는 귀결은 병목이 사람의 리뷰로 옮겨 갔다는 것입니다. 코드를 만들 때 느끼는 이득은 아직 나가는 작업에서는 보이지 않습니다. 시간의 대부분이 리뷰로 가고, 리뷰는 생성과 나란히 커지지 않았기 때문입니다. 제약은 검증에 있으므로, 코드가 나타나는 속도로 가치를 재기도 어렵고 그 속도로 품질을 판단하기도 어렵습니다. ROI 계산은 특정한 방식으로 멈춥니다. 팀은 코드를 아주 많이 만들 수 있으면서도, 그중 충분한 양이 지출을 메울 만큼 좋은지 알 방법이 없습니다.

코드 리뷰에는 원래 흠이 있었을 수 있고, 에이전트가 이제 그 흠을 드러내고 있다고 그는 여지를 둡니다. 코드 리뷰를 푸는 일에 관한 글에서 Noah Hein을 들고, 소리 내어 읽는 대신 요지를 요약합니다. 지금 다시 봐야 하는 것은 코드 리뷰 아래의 가정이고, 에이전트 시대의 리뷰에 새 근거를 놓기 전에 기존의 사전 가정을 점검해야 한다는 내용입니다. 그 지적이 마음에 든다고 한 뒤 과제는 받지 않습니다. 코드 리뷰를 푸는 일은 다른 사람의 다른 강연이라고 말합니다.

그가 가져가는 것은 리뷰가 애초에 풀릴 듯 보이는 이유입니다. 문화로서 코드 리뷰는 이미 공유된 가정으로 모이고, 그 모임이 측정을 채점 기준으로 바꿉니다. 지금 할 일은 그 가정을 에이전트에 맞게 고치는 것입니다. 컴퓨터 속도의 실행을 컴퓨터 속도의 측정이 따라가게 하고, 그 측정이 그것을 쓰는 고객의 멘탈 모델에 맞게 하려는 것입니다. 그가 말하는 교훈은, 에이전트를 만드는 일에 고객이 산출이 좋은지 확인하는 방법과, 지출을 메울 만큼 분명한 ROI로 가는 길이 들어 있다는 것입니다.

마우스 파워는 구매자가 알아볼 수 있는 기준선이고, 마우스 커서 속도계는 농담입니다

마우스 파워는 그가 그 일에 붙인 이름이고, 에이전트 시대의 마력으로 내놓은 것입니다. Watt는 gin 안의 말에 견준 효율의 배수를 보여 줄 수 있었습니다. Piras가 원하는 것은 오늘날 사람이 컴퓨터를 쓰는 방식의 기준선이고, 이어서 같은 일에서 에이전트가 더 나은 성능을 내는 방향을 보여 주는 일입니다. 이 일은 Watt의 일보다 어렵다고 그는 말합니다. 옆에 세워 두고 시간을 잴 단일한 기계가 없습니다.

글자 그대로 읽을 사람을 위한 농담을 준비해 둡니다. Claude에게 측정 장치를 바이브 코딩으로 만들게 했다고 말합니다. 포인터가 화면을 얼마나 빨리 가로지르는지 재면 마우스 파워의 깨끗한 척도가 나올지 모른다는 생각이었습니다. 이어서 농담일 뿐이라고 합니다. 포인터의 움직임은 헛수고입니다. 정보 공간이 그 방식으로 담기에는 차원이 너무 높기 때문입니다. 마우스 파워는 지표가 되지 않을 것이고, 아이디어라고 그는 말합니다.

에이전트를 파는 사람에게 이 아이디어는, 판매 안에 구매자가 일이 좋은지 확인하고 그래서 토큰이 값어치가 있는지 볼 채점 기준이 들어 있다는 것입니다. 채점 기준을 어떻게 만들지는 만드는 사람에게 달려 있습니다. 그는 방 안의 사람들에게 방법을 말해 줄 수 없고, 측정을 고르는 좋은 프레임워크도 없다고 말합니다. 그가 내놓을 부분은 원칙입니다.

경로가 에이전트가 필요할 만큼 불확실하고 결과 검사가 싼 일을 고릅니다

그가 이리저리 굴려 온 작업 원칙은 Claude Shannon에게서 옵니다. 그가 푸는 말에서 엔트로피는 확률 분포의 불확실성입니다. 그 생각이 오늘날 에이전트를 학습시키는 방식의 바탕에 가깝고, 크로스엔트로피가 에이전트가 얼마나 유능해지는지에 큰 요인이라고 말합니다. 같은 말을 에이전트의 능력에만이 아니라 과제 쪽으로도 돌리고 싶어 합니다. 강연은 그 풀이에 머뭅니다.

그에게는 행렬이 있습니다. 한 축은 단계의 불확실성입니다. 항공권 예약은 낮은 쪽에 있습니다. 구매에는 꼭 있어야 하는 사건이 있기 때문입니다. 출발지, 도착지, 그리고 여행자가 고르거나 배정되는 좌석입니다. 걸작을 그리는 일은 높은 쪽에 있습니다. 단계를 누가 알겠느냐고 그는 말하고, 비교적 예측 가능한 경로를 깔기는 매우 어렵다고 합니다. 그래도 에이전트를 그림 쪽으로 겨눌 수는 있습니다. 다른 축은 수용 기준, 곧 결과를 채점하는 기준의 불확실성입니다. 에이전트가 그 일을 할 수 있다는 것만으로는 부족합니다. 누군가에게 그것을 깨끗하게 채점할 방법이 있어야 합니다. 무엇을 만들지의 안내로는, 그 일이 가치 있기만 한지 묻는 것보다 두 축이 만나는 곳이 낫다고 그는 말합니다. 듣는 사람이 다시 쓸 수 있는 부분은 그가 말하는 예와 규칙입니다.

단계의 불확실성에서, 예측 가능한 경로에는 단호한 지시가 붙습니다. 토큰은 건너뛰고 스크립트를 쓰라는 것입니다. 불확실성이 매우 높으면 정보를 예측할 수 없다는 뜻입니다. 그는 그것을 나쁜 에이전트 과제라고 부릅니다. 사전학습의 분포 밖일 가능성이 큽니다. 모델이 배운 데이터와 다르다는 뜻입니다. 강화학습에서는 희소 보상, 곧 드문 성공 신호가 나오기 쉽습니다. 여기서 강화학습은 보상 신호로 학습한다는 뜻입니다. 그 영역에서 데이터는 모형으로 만들기가 훨씬 어렵다고 말합니다. 그림 쪽으로 몸을 돌릴 때 그는 무대 왼쪽과 오른쪽을 섞고, 앞 연사도 같은 점에서 헷갈렸다고 합니다. 그림의 라벨은 말로 일부만 나옵니다. 한가운데에 닿을 때쯤 그는 이미 시간을 넘긴 상태입니다. 내려오라는 신호는 받지 않았다고 하고, 빨리 마칩니다. 그가 스위트 스폿이라고 부르는 한가운데는, 흥미로울 만큼 불확실성이 있는 띠입니다. 스크립트보다 열려 있고, 그래도 학습이 닿는 안쪽입니다.

수용 기준은 그 띠를 가로질러 자릅니다. 그쪽 불확실성이 높으면 검증과 실행을 가를 수 없습니다. 산출이 쓸모 있었는지 알려면 사람이 일을 다시 해야 하고, 토큰은 버려집니다. 그가 한가운데에 남겨 두는 것은, 스크립트에 두기에는 불확실성이 충분하고, 여전히 학습할 수 있으며, 검증은 비교적 쉬운 과제입니다. 그 모양을 NP 스타일의 문제에 비깁니다. 실행보다 검증이 쉽다는 뜻으로 쓰는 말입니다. 비유는 일의 모양에 관한 것입니다. 검사가 반복할 수 있는 패턴이면 검사에도 에이전트를 보낼 수 있다고 말합니다. 일을 하는 에이전트와 그것을 검증하는 에이전트를 만듭니다.

그는 이 행렬을 아직 만드는 중인 생각의 출발점이라고 부르고 비판을 청합니다. 마무리에 두는 바람은, 다음 에이전트를 만드는 사람이 그 마우스 파워도 함께 만드는 것입니다. 지출을 판단할 수 있게 하는 검증의 패턴입니다.

프레임워크가 아직 끝나지 않은 동안 코더가 적용할 수 있는 것입니다

그의 행렬은 아직 생각의 출발점이고, 그 안의 가르는 규칙은 이미 쓸 수 있습니다. 다음 병렬 실행 전에 경로를 적습니다. 이미 예측되는 경로는 스크립트에 둡니다. 결과가 좋은지 아는 유일한 방법이 과제를 다시 하는 것이면 사람에게 남깁니다. 경로에 불확실성이 좀 있고, 과제가 여전히 학습 가능해 보이며, 반복 가능한 검사가 일보다 쉬운 곳에서 그의 제안은 작업 에이전트와 검증 에이전트입니다. 지출을 읽을 수 있게 하는 결과로 그가 이미 이름을 붙인 것은 잡은 버그나 닫힌 지원 요청이고, 이어서 그 숫자가 움직여야 하는 목표의 진전입니다.

그 규칙은 그가 남겨 둔 한계와 함께 씁니다. 행렬은 미완성입니다. 스위트 스폿을 이름 붙일 때 그는 시간을 넘긴 상태였고, 방 안의 사람들에게 자신에게 이의를 달라고 했습니다. 마우스 파워는 구매자가 알아볼 비교에 그가 붙인 이름입니다. 포인터 속도계는, 그 이름을 시간을 잴 수 있는 단위로 다루지 말라는 취지의 농담입니다. 고객과의 대화에서 듣는다고 그가 전하는 말은 들뜸, 혼란, 아직 표면만 긁는 단계입니다. 설문은 내놓지 않습니다. 코딩은 풀렸고 코드 리뷰는 풀리지 않았다는 주장은 Anthropic 팀의 이름 없는 사람들에 대한 그의 전언이고, 회사의 입장에는 미치지 못합니다. 자신의 일은 영상 제목이 Yutori로 소개하는 회사의 파운딩 디자이너라고 설명합니다. Noah Hein의 이름을 들고, 코드 리뷰 글은 소리 내어 읽지 않은 채 요약합니다. Ramp의 순환과 Coinbase 차트는 수치가 없는 무대 위의 설명입니다. 차트에 대해 그는, 사람들이 어느 모델에서 시작하는지를 아직 본격적으로 바꾸기 시작하지 않았다고 말하고, 그 결과 AI 지출이 토큰 사용량과 벌어졌다고도 말합니다. 양조장까지 포함한 horse gin은 그의 스케치이고, 양조가 어떻게 되는지는 자신이 모르겠다고 합니다. 그의 설명에서 컴퓨터 유스는 API나 MCP가 정보를 대지 못할 때의, 효율이 더 낮은 최후의 수단이고, 그 간격에는 측정을 붙이지 않습니다. 다음에 만들어지기를 그가 바라는 조각은 구매자가 알아볼 수 있는 검증입니다. 이 강연은 마우스 파워를 일의 단위로 만들지 않습니다.