다음 단계가 요약만 보았을 때, Vercel의 연쇄 데이터 에이전트는 무엇으로 바뀌었나

더 약하던 모델 시대, 모든 책상 위의 에이전트

Andrew Qu가 말하는 Vercel 데이터 에이전트의 이야기는 그 순서로 갑니다. 연쇄 버전은 다음 에이전트가 요약과 짧은 조각만 보았기 때문에, 거기까지 온 단계를 되돌아볼 수 없어 실패했습니다. 그들은 연쇄를, 자기 단계를 유지하는 에이전트 하나, 오류 뒤에 다시 시도할 수 있는 하나의 긴 호출로 바꿨습니다. 초기 사용자는 그 도구를 여전히 형편없다고 했습니다. 만든 사람들은 그가 정의하지 않는 평가 집합의 약 30퍼센트를 통과한다고 보았지만, 실제 질문은 그들이 그려 둔 시나리오 밖에 있었습니다. 그가 도약으로 다루는 설계는 그 실패 뒤에 왔습니다. 웨어하우스의 시맨틱 레이어를 샌드박스에 넣고, 에이전트가 파일과 셸 도구로 탐색하게 한 것입니다. Eve는 그 나중의 파일시스템·스킬 패턴을 선언해서, 다음 빌더가 날것의 프롬프트에서 다시 시작하지 않게 하자는 그의 제안입니다. 그 도약에 그가 붙이는 점수는 그의 점수입니다.

그는 자신을 Vercel의 소프트웨어 총괄로 소개하며, 사내 엔지니어링, 바깥의 실험, 새 라이브러리와 프레임워크를 아우른다고 합니다. 직무에 대한 그의 설명입니다. 회사도 같은 방식으로 놓습니다. Vercel은 사람들이 밑의 인프라를 직접 운영하지 않고 웹사이트와 웹 앱을 내보낼 수 있게 하는 데서 시작했고, 백만까지 늘었다가 영으로 줄어든다는 말도 들어 있으며, 예전에는 페이지를 원하던 고객이 이제는 에이전트를 원한다고 말합니다. 두 줄 모두 포지셔닝입니다. 옆에 측정된 안정성이나 규모 결과는 없습니다.

그 수월함의 예로 그가 드는 것은 AI SDK입니다. 모델 인터페이스를 하나로 공유하면 제공자 교체가 한 줄 정도이고, 제공자마다 다른 코드는 대략 300줄에서 400줄이라고 합니다. 그 줄 수는 그의 대비이며, 옆에 SDK 벤치마크는 없습니다. 플랫폼에는 모델 폴백, 안전한 코드 실행, 워크로드가 멈춰 응답을 기다리는 동안의 더 나은 가격, 그리고 내구성과 재개 가능성이 더해졌다고도 합니다. 내구성과 재개 가능성은 이름만 대고 정의하지 않으며, 가격이나 유휴 과금 조건도 제시하지 않습니다.

실험은 강연보다 약 1년 전에 시작했다고 합니다. 그가 Sonnet 4라고 부르는 시기이고, 그때의 모델은 지금 말하는 자리에서 쓸 수 있는 모델보다 능력이 낮다고 그는 봅니다. 그와, 이름을 밝히지 않는 Vercel의 최고기술책임자는 Bill Gates의 말이라고 그가 돌리는 1980년의 한 줄을 빌렸습니다. 모든 책상과 모든 집에 컴퓨터가 있다는 문장입니다. 그들의 버전은 모든 책상 위의 에이전트였고, 코딩을 넘어 디자인, 제품 관리, 그 밖의 일로 갔습니다. Gates의 문장과 연도는 그의 다시 이야기입니다. 그 내기를 걸던 때 에이전트는 주로 코딩과 기술 일에 쓰였고, 확장은 막 시작되던 참이었다고도 합니다. “약 1년 전”은 강연을 기준으로 한 말입니다. 녹화본이 YouTube에 올라온 2026년 9월 14일은 영상이 게시된 날입니다.

• How We Solved Agent Building — AI Engineer에서 Andrew Qu

적은 인원의 데이터 팀을 일에 파묻은 질문

Qu는 마케팅, 영업, 재무, 법무에 일에서 가장 싫은 것이 무엇인지 물었다고 합니다. 그가 가장 설득력 있다고 부르는 사례는 데이터 팀이었습니다. 사람은 적은데, Vercel의 고객, 분석, 지표, 영업 데이터는 그것을 쓸 수 있게 만들어야 하는 사람들보다 빨리 늘었습니다.

방해가 어떻게 일어나는지는 운영의 말로 짚습니다. 고객이나 제품에 대한 마케팅 또는 영업의 질문이 들어오면 데이터 사이언스는 하던 일을 멈추고, 쿼리를 작성하고, 분석하고, 권고를 들고 돌아왔습니다. 생산성이 크게 다쳤고, 팀은 하루 종일 쿼리를 쓰는 일이 자기 일이 되기를 바라지 않았다고 합니다. 그다음 그도 이름을 밝히지 않는 Vercel의 데이터 담당 부사장과 다른 운영 방식을 찾았습니다. 그것이 D0의 동기입니다. 티켓 수, 시간, 인력 감사는 제시하지 않습니다.

1번은 스키마 덤프와 손으로 한 붙여 넣기였다

첫 시험은 메가 프롬프트였습니다. Qu는 Snowflake 스키마, 곧 웨어하우스가 테이블과 컬럼을 설명해 둔 내용의 덤프를 받아, 그 덤프와 질문을 시스템 프롬프트에 붙여 넣었습니다. 모델이 SQL을 돌려주면 쿼리를 복사해 직접 실행했습니다. SQL은 웨어하우스가 실행하는 언어입니다.

그는 결과를 소박하게 둡니다. 이후의 성공에 관한 말은 모두 이 출발 위에 있습니다. 모델은 그렇게 좋지 않았다고 합니다. 시험이 준 것은 약간의 확신뿐이었습니다. 주변 맥락과 가드레일을 더 잘 주면 쓸 수 있을지도 모른다는 정도입니다. 웨어하우스 규모, 누가 쿼리할 수 있었는지, 그 붙여 넣기 시험 둘레의 안전 장치는 말하지 않습니다.

D0는 분석가의 순환을 사슬로 이었고, 그다음 흔적을 잃었다

Qu는 이어서 그 팀의 사람이 질문을 어떻게 다루는지 그립니다. 질문을 받아들이고, 시맨틱 레이어와 조인 패턴을 살펴보고, SQL을 실행하고, 쿼리가 실패하거나 비용이 너무 크면 다시 시도합니다. 그가 쓰는 뜻의 시맨틱 레이어는, 분석가가 테이블을 고르기 전에 보는 엔티티 설명과 관계의 묶음입니다. 쿼리가 되면 시각화하고, 글로 쓰고, 검토합니다. 때로는 회고로 합니다.

그와 데이터 담당 부사장은 그 순환을 연쇄 에이전트로 나눴습니다. 각각 좁은 프롬프트와 좁은 도구를 가집니다. 그는 이 두 번째 버전에서 데이터 에이전트를 D0라고 소개하고, 그 이름을 유지하겠다고 합니다. 그가 말하는 순서는 질문에서 쿼리 에이전트, 플래닝 에이전트, 실행 에이전트로 이어진 뒤 SQL과 리포팅입니다. 이야기하는 동안 이름은 겹칩니다. 플래닝 쪽이 답을 “플래닝 에이전트”에 넘기고, 그다음 SQL 에이전트와 리포팅으로 간다고도 설명합니다.

구체적인 도구 예는 플래닝 에이전트입니다. 엔티티를 기술하는 구조화 파일인 엔티티 YAML을 읽고 스키마를 검색할 수 있었고, 넘길 답이 생길 때까지는 그 능력만 썼다고 그는 말합니다.

이득은 정성적으로 다룹니다. 누군가 SQL을 다시 붙여 넣지 않아도 질문에서 답까지 갈 수 있었습니다. 정확도는 말하지 않습니다. 그의 이야기에서 벽은 인계였습니다. 다음 에이전트는 요약과 짧은 조각만 받았으므로, 어떻게 거기까지 왔는지 되돌아볼 수 없었습니다. 그들은 에이전트 하나가 전체 맥락을 쥐고, 자기 기억을 관리하고, 현재 지점까지 온 단계를 되짚어야 한다고 결론 내렸습니다. 그 결론은 D0를 써 본 데서 나옵니다.

긴 호출 하나는 다시 시도할 수 있었고, 초기 사용자는 여전히 싫어했다

다음 설계는 플래닝, 구축, 실행, 리포팅을 오가며 그 상태를 스스로 관리하는 모델 호출 하나였습니다. 그는 그 호출을 최대 약 100단계로 보여 줍니다. 100은 그 호출에 대한 그의 그림입니다. Eve의 한계나 이름이 있는 모델의 한계라고 말하진 않습니다.

그가 강조하는 것은 회복입니다. 실행 오류나 잘못된 조인 뒤에, 같은 에이전트가 다시 탐색하거나 읽고 무엇이 잘못이었는지 짚어 낼 수 있었습니다. 신뢰하는 소수에게만 보여 주었습니다. 그는 도구가 강력하다고 하고, 잘못된 사람과 중요한 워크로드에서는 떨어뜨려 두었다고 합니다. 접근 규칙이나 그 워크로드가 무엇인지는 정의하지 않습니다.

내부 점수와 반응은 붙어 있습니다. 만든 사람들은 에이전트가 자신들이 써 둔 시험 질문, 곧 평가의 약 30퍼센트를 통과한다고 보았습니다. 첫 사용자들은 형편없다고 했습니다. 실제 질문은 그들이 그려 둔 시나리오 밖에 있었고, 그것을 손으로 더 그리는 일은 확장할 수 없어 보였습니다. 30퍼센트에는 정의된 평가 집합이 없습니다. 당시 그들의 인상이고, 그 반발 옆에 놓입니다.

그가 도약이라 부르는 것은 샌드박스 파일시스템이다

Qu는 Opus 4.5가 Claude Code와 함께 도착하자, 손으로 만든 에이전트보다 그들의 질문 대부분에 훨씬 잘 답했다고 말합니다. 그 둘을, 이전에 가지고 있던 것에 비하면 사실상 AGI라고 부릅니다. 그 말은 그의 과장입니다. 맞대어 본 공통 평가 점수는 말하지 않습니다.

그가 그리는 열림은 파일시스템과 작은 도구 묶음입니다. 파일 목록, 파일 읽기, 그리고 그 환경에서 프로그램을 실행하는 셸 명령인 bash, 거기에 데이터 에이전트용 도구 몇 가지입니다. 그건 에이전트가 이미 잘 쓰도록 훈련된 도구이고, 정해 둔 메뉴를 쥐여 주는 대신 모델이 탐색하게 두었다고 합니다. Claude Code의 도구 목록이나 그 훈련은 설명하지 않습니다.

그들은 같은 데이터 에이전트인 D0를 격리된 환경인 샌드박스에서 다시 만들었습니다. 시맨틱 레이어 전체를 넣고, 에이전트에게 bash, 읽기, 쓰기와 Vercel 전용 도구 몇 가지를 줬습니다. 그는 에이전트 하나에서 Claude Code SDK 스타일을 거쳐 파일시스템 에이전트로 간 이동을 가장 큰 도약이라고 부릅니다. “fine-tuned or purpose-built”라고도 합니다. 그들 경우에 맞춰 만든 에이전트라는 뜻으로 읽힙니다. 맞춤 모델을 학습했다는 이야기는 하지 않습니다.

그 설계에서 평가 점수가 대략 두 배가 되었다고 합니다. 기준선, 과제, 전후의 쌍은 특정되지 않으므로, “두 배”는 내용을 한 번도 나열하지 않는 내부 점수에 대한 그의 요약입니다. 그가 설명하는 구현은 샌드박스에 붙은 npm 위의 bash 도구 도우미이고, 에이전트가 읽고 쓰고 실행할 수 있는 파일이 있습니다. 집어낼 수 있을 만큼 정확한 패키지 이름은 주지 않습니다. 그 결과 뒤에 블로그 글을 썼고, 아직 올라가 있다고 합니다. 그 글이 나간 주에는 vercel.com 트래픽의 약 70퍼센트를 차지했다고 말합니다. 비중은 그의 말이며, 날짜를 밝히지 않는 주에 대한 것이고, 글의 제목도 주소도 주지 않습니다.

반복되는 쿼리는 스킬 폴더가 되었다

그의 이야기에서 사내로 더 넓게 풀자 고객 지표, 영업 지표, npm 다운로드, 제품 조회, 청구에 걸쳐 하루 수천 건의 쿼리가 들어왔습니다. 하루 수천 건은 그의 규모 주장입니다. 그 질문의 다수는 형태를 공유했습니다. 집계, 조회, 또는 청구입니다.

반복되는 작업이 최근 쿼리를 가져와 스킬로 증류합니다. 그가 쓰는 스킬은, 에이전트가 이미 풀어 본 종류의 질문에 대해 저장해 둔 맥락입니다. 집계부터 특정 사람에 대한 데이터 조회까지 약 100개가 있다고 합니다. 이유는, 그러지 않으면 새 실행이 시맨틱 레이어와 시스템 프롬프트만 가지고 시작하는데, 스킬은 이미 해 둔 작업을 안고 있기 때문입니다. 설계상의 논거입니다. 토큰이나 지연의 절감은 보고하지 않고, 그 작업의 알고리즘, 누가 스킬을 검토하는지, 누가 쓸 수 있는지는 설명하지 않습니다.

실용적인 추가로 스킬 폴더를 가리키며, Vercel이 Skillsh라는 도구를 만들었다고 합니다. 그의 말로는 에이전트 스킬을 찾고 직접 실행하는 가장 널리 쓰이는 방법입니다. 그 인기 이야기는 그의 말입니다. 이름으로 Skillsh를 줄 뿐, 디렉터리 주소도 설치 절차도 없습니다.

Eve는 그가 빌더의 출발점으로 두고 싶은 규약 층이다

동료들은 D0를 계속 포크하며 개선을 하나씩 다시 찾아냈습니다. Qu는 새 빌더가 왜 날것의 프롬프트나 제일원리에서 다시 시작해야 하는지 묻습니다. 프레임워크의 동기입니다.

비유는 그가 Vercel이 만들었다고 말하는 Next.js입니다. 그의 설명에서는, 알맞은 규약의 파일이 페이지, 서버리스 함수, 캐싱을 놓아 주므로 아무도 인프라를 손으로 잇지 않습니다. 페이지는 CDN으로, 함수는 제자리로, 캐시는 가운데로 갑니다. 그는 에이전트도 그렇게 선언하고 싶어 합니다. 규약이 왜 도움이 되는지에 대한 그의 이야기이지, Next.js의 현재 아키텍처 명세는 아닙니다.

그가 제안하는 에이전트 버전은 폴더 세 개, skills, tools, channels입니다. 이 제안에서 채널은 사람들이 이미 에이전트와 이야기하는 곳입니다. 프레임워크는 그 선언을 에이전트로 바꾸게 되어 있습니다. 에이전트를 위한 Next.js라고 그가 부르는 Eve는 강연보다 약 2주 전에 나왔고, 그 말에는 런던 행사도 들어 있다고 합니다. 샘플 템플릿에서 시작하면 맞춤 지식, 도구, 익숙한 채널을 더한다고 합니다. 2주와 런던 행사는 강연을 기준으로 한 말입니다.

그가 그리는 에이전트는 런타임에 채널을 더한 것입니다. 그가 이름을 대는 오픈소스 어댑터는 Postgres, OpenAI의 responses API, Docker, 그리고 다른 커넥터입니다. 그가 나열하는 꽂는 자리입니다. Vercel 위에서는 내구성을 Workflows에, 안전한 실행을 Sandbox에, 짧은 수명의 연결 토큰을 방금 나왔다고 그가 말하는 Connect에 대응시킵니다. 그 토큰을 ODC 토큰이라고 부르며 약자는 풀지 않습니다. Connect의 출시와 그 토큰의 동작은 그의 이야기로 남습니다.

• 내구성, 격리된 환경, 모델 호출, 연결이 필요한 런타임
• 그가 이름을 대는 오픈소스 어댑터: Postgres, OpenAI의 responses API, Docker, 그리고 다른 커넥터
• 그가 Vercel에 대응시킨 것: 내구성은 Workflows, 안전한 실행은 Sandbox, 짧은 수명의 ODC 연결 토큰은 Connect

Eve로 다시 쓴 버전, 그리고 점수 없는 Aura 이야기

그들은 Eve를 만드는 동안 D0를 Eve로 다시 썼습니다. 이름은 D0로 남습니다. 청중이 보지 못한 이전 코드는 복잡하게 얽혀 있었다고 합니다. 라이브 데이터 에이전트에는 증류된 스킬이 약 100개 실려 있다고 이미 말했습니다. 다시 쓴 버전으로 그가 보여 주는 Eve 파일 트리는 시스템 지시, 스킬 두어 개, 도구 두어 개이고, 조합하고 바꾸기 쉽다고 합니다. 그 두어 개의 스킬이 라이브 에이전트의 약 100개 스킬과 어떻게 이어지는지는 설명하지 않습니다.

그가 런던에서 약 2주 전이라고 날짜를 잡는 공개 출시보다 먼저, 베타 고객 몇 곳이 Eve를 가지고 있었습니다. 고객 수는 주지 않습니다. Vercel과 가깝게 일한다고 그가 말하는 파트너 Aura는, 사이트를 방문하고 서비스를 설치하고 써 보는 작은 Claude형 에이전트를 다시 만들었습니다. Eve 버전은 기성 Claude Code보다 단계가 더 적었고, 성공도 인사이트도 더 나았다고 합니다. 단계 수도, 과제의 정의도, 독립된 시험도 없습니다. 파트너의 일화이고, 에이전트가 무엇을 설치하는지는 말하지 않습니다.

Eve를 Vercel에 배포하면 에이전트 실행, 도구 호출, 단계, 추정 비용, 가능한 최적화가 보인다고 합니다. 그 목록은 그가 설명하는 배포 화면입니다. Qu는 eve.dev를 말하고, 사람들이 템플릿을 복제하거나 배포하거나 자체 호스팅할 수 있다고 합니다. 라이선스나 자체 호스팅에 무엇이 들어가는지는 설명하지 않습니다.

• eve.dev, Qu가 템플릿·배포·자체 호스팅의 주소로 말하는 곳

그가 여전히 회사마다 따로 써야 한다고 말하는 것

자기 데이터 에이전트에 기대기 전에, 자금이 넉넉한 스타트업들의 버티컬 Snowflake 에이전트, 곧 회사의 Snowflake 웨어하우스에 에이전트를 겨누도록 만든 제품을 시험해 봤다고 합니다. 이름은 하나도 대지 않고 점수도 보고하지 않습니다. 그의 결론은, 쓸모 있는 부분은 Vercel에만 있는 지식이었다는 것입니다. 무엇을 쿼리할지, 웹 회사의 고객과 속성이 어떻게 이어지는지입니다. 그 이야기에서 기성 에이전트는 출발점입니다. 회사 지식은 여전히 직접 써야 하는 부분이라고 그는 말합니다.

괜찮은 프로덕트 마켓 핏이 있는 Vercel 에이전트가 대략 20개라고 주장합니다. 회사 안에서 실제 쓰임을 찾았다는 그의 이름표이지, 정의된 지표는 아닙니다. 예로 드는 것은 마케팅 회고와 아웃리치, 법무팀이 새 협상을 볼 때 계약서에 다는 1차 수정 표시, 그리고 데이터 에이전트입니다.

생산성 주장은 정성으로 남습니다. 에이전트가 시간을 많이 아끼고, 데이터 팀은 이제 하루 종일 쿼리를 쓰는 대신 Snowflake 성능, 빠진 출처, 빈틈에 시간을 쓴다고 합니다. 아낀 시간, 쿼리 양의 감소, 웨어하우스 성능 수치는 없습니다.

끝은 의견입니다. 어떤 규모의 회사든, 사람들이 하루를 쓰고 싶지 않은 일을 자동화할 수 있다고 그는 말합니다. 인사, 재무, 영업은 어느 정도 자동화할 수 있고, 그런 에이전트를 오늘 만드는 가장 좋은 방법이 Eve라고 합니다. 무대 위에서의 권유입니다. 그 기능이 이미 자동화되었다는 보여 주기는 없고, Eve를 대안과 견주어 잰 결과도 없습니다.