AX 팀이 에이전트에게 일을 맡길 때, 정작 사람이 하는 일은 대신 봐주는 것이다. 깨진 화면을 캡처해 붙여 주고, 요구사항 PDF를 열어 핵심을 받아쓰고, "버튼이 반 칸 밀렸다"고 말로 옮긴다. 에이전트는 텍스트 위에서 추론한다. 텍스트가 아닌 것은 사람이 안으로 실어 날라야 했다.
그래서 에이전트가 아무리 똑똑해도 루프는 사람 앞에서 멈췄다. 코드를 고친 뒤 그게 실제로 어떻게 렌더되는지는 사람이 브라우저를 열어 확인했고, 그 결과를 다시 말로 정리해 에이전트에게 돌려줬다. 병목은 모델의 추론이 아니라, 모델이 볼 수 없는 것들이었다.
지난주 이 병목이 줄었다. 에이전트가 코드 밖의 화면과 문서를 직접 읽기 시작했다.
에이전트가 소스가 아니라 렌더된 결과를 본다
7월 1일 GitHub은 VS Code용 Copilot 브라우저 도구를 정식 출시했다. 에이전트가 페이지를 열어 이동하고 클릭·입력·드래그하고 대화상자를 처리하며, 페이지 내용을 읽고 콘솔 에러를 잡고 스크린샷을 찍는다. 이전까지 에이전트는 소스 코드를 근거로 결과를 짐작했다. 이제는 자기가 고친 앱을 직접 띄워 렌더된 화면을 보고 고친다. 검증 루프가 사람을 거치지 않고 에이전트 안에서 닫힌다.
통제는 붙어 있다. 사용자의 개인 탭은 '에이전트와 공유'를 누르기 전까지 열리지 않고, 에이전트가 연 페이지는 쿠키·저장소가 없는 격리 세션에서 돈다. 카메라·마이크·위치·클립보드 같은 민감 권한은 사이트별로 사람이 직접 승인해야 하며 에이전트가 자동으로 얻지 못한다. 관리자는 도메인 차단으로 접근 범위를 묶는다.
텍스트가 아닌 입력도 사람을 거치지 않는다
같은 날 Copilot 비전도 정식이 됐다. JPEG·PNG·GIF·WebP 이미지와 PDF를 프롬프트에 붙이면 Copilot이 그것을 코드와 함께 본다. 디자인 시안 한 장, 요구사항 PDF 한 부를 사람이 받아쓸 필요 없이 에이전트가 직접 읽는다. Free부터 Enterprise까지 모든 등급에서 쓸 수 있고, Business·Enterprise는 첨부한 이미지·PDF를 약 24시간 보관한 뒤 지운다.
입력의 폭이 넓어지면 검토의 무게중심이 옮겨간다. 사람이 더 이상 에이전트의 눈이 아니라면, 남는 일은 에이전트가 본 것과 만든 것을 감사하는 일이다. 6월 30일 앤스로픽이 내놓은 Claude Science가 그 방향을 보여준다. 이 과학용 워크벤치는 그림이나 코드를 만들 때 그것을 만든 정확한 코드와 실행 환경, 만든 과정의 평문 설명, 전체 대화 이력을 함께 남긴다. 몇 달 뒤에도 그 자리에 없던 사람이 다시 돌려 재현할 수 있는 결과물이다.
그래서 사람의 자리는 눈에서 감사로 옮겨간다
이번 주의 출시는 에이전트에게 감각을 붙였다. 렌더된 화면을 보고(브라우저 도구), 이미지와 문서를 읽고(비전), 재현 가능한 형태로 결과를 남긴다(감사 가능한 산출물). 사람이 캡처하고 받아쓰고 말로 옮기던 중간 노동이 줄어든다.
한계는 분명하다. 브라우저 도구와 비전은 지금 Copilot·VS Code 생태계 안의 일이고, 격리 세션과 도메인 통제는 켜 두어야 작동한다. 에이전트가 화면을 봤다는 것이 옳게 판단했다는 뜻도 아니다. 그럼에도 실무 규칙은 바뀐다.
| 이전 | 이번 주 이후 |
|---|---|
| 사람이 화면을 캡처해 에이전트에 전달 | 에이전트가 브라우저를 열어 직접 확인 |
| 사람이 PDF·시안을 받아써서 입력 | 에이전트가 이미지·PDF를 직접 판독 |
| 결과가 맞는지 사람이 눈으로 검사 | 재현 가능한 산출물로 사람이 감사 |
조녁컴퍼니가 AX 전환 교육에서 다음으로 가르쳐야 할 것은 프롬프트를 잘 쓰는 법이 아니라, 에이전트에게 무엇을 보게 하고 그 결과를 어떻게 감사할지 설계하는 일이다. 사업영역 →