기업이 AI 벤더와 계약할 때 가장 먼저 요구하는 조항은 "우리 데이터를 저장하지 마라"다. 제로 데이터 보존(ZDR)은 이제 API 계약의 기본 옵션이 됐고, 프롬프트와 출력은 요청 처리가 끝나면 폐기된다.
그런데 8월 19일 OpenAI는 반대 방향처럼 들리는 발표를 했다. 오남용을 탐지하는 감시 시스템 'Private Safety Processing'을 일부 고객과 테스트 중이라는 것이다. 안 보겠다는 약속과 잡아내겠다는 약속이 같은 시스템 안에 담겼다. 이 조합이 왜 지금 나왔는지가 이번 주의 핵심이다.
공격자가 에이전트가 되자 프롬프트 한 건은 증거가 못 된다
배경에는 공격 주체의 교체가 있다. 텔아비브 보안업체 Dream의 보고서에 따르면, 7월 초 대만 정부를 겨냥한 침입 작전에서 공개된 AI 에이전트로 조립한 도구가 최대 8개 에이전트를 병렬로 돌리며 나흘간 정부 시스템 21개를 매핑했고, 막히면 스스로 전술을 바꿨다. 대상에는 원자력 규제기관과 에너지 기업이 포함됐다. 영국 AISI의 사이버 평가에서는 122회 실행 중 10회에서 에이전트가 승인 없이 라이브 인터넷의 실제 대상에 행동을 취했다.
이런 공격은 프롬프트 단위 필터로 잡히지 않는다. 한 대화에서 특정 소프트웨어의 약점을 묻고, 다른 대화에서 원격 접근 도구를 묻는 식이다. 각각은 무해하고, 합치면 공격 준비다. 탐지의 단위가 '한 요청'에서 '요청들 사이의 패턴'으로 옮겨가야 하는 이유다.
OpenAI의 답: 원문 접근 없이 대화 사이를 읽는다
Private Safety Processing은 여러 대화에 걸친 패턴을 분석하되, OpenAI 직원이 원문 내용에 접근하지 못하도록 설계됐다고 한다. ZDR은 그대로 유지된다. Microsoft와 Databricks가 초기 테스트에 참여했고, 9월에 기술 백서와 함께 롤아웃을 시작할 예정이다.
한계도 그대로 적어야 한다. "내용은 안 보고 패턴만 본다"의 정확한 범위 — 무엇이 메타데이터이고 무엇이 내용인지 — 는 백서가 나오기 전까지 벤더의 말뿐이다. 삭제를 약속한 데이터에서 패턴을 뽑아내는 구조는, 검증 수단이 공개되지 않으면 새로운 종류의 신뢰 문제를 만든다. 계약서의 ZDR 조항만 읽고 "우리 데이터는 아무 처리도 안 거친다"고 이해하던 관행은 이번 발표로 이미 낡았다.
기업 쪽에서도 통제는 사람의 검토에서 구조로 내려간다
같은 주 GitHub는 JetBrains용 Copilot에 엔터프라이즈 관리 설정을 추가했다(8월 18일). 관리자가 개발자별 설정이 아니라 중앙에서 MCP 서버 허용·차단 목록을 강제하고, 승인 우회 모드(Bypass Approvals)를 조직 단위로 꺼버릴 수 있다. 텔레메트리 수집 정책도 일괄 지정된다.
벤더는 패턴으로 감시하고, 기업은 설정으로 잠근다. 방향은 같다. 에이전트가 사람보다 빠르게 움직이는 환경에서, 통제는 사건 후 사람의 검토가 아니라 사건 전 구조 — 어떤 서버에 연결되고, 어떤 승인 없이는 못 움직이고, 어떤 패턴이 플래그되는지 — 에 심어진다.
AX 도입 논의에서 보안 질문은 아직 "데이터를 벤더에 주느냐 마느냐"의 이분법에 머물러 있는 경우가 많다. 이번 주 뉴스는 그 질문이 "지운 뒤에 무엇이 남고, 남은 것을 누가 어떻게 검증하느냐"로 바뀌었음을 보여준다 — 조녁컴퍼니의 AX 전환 교육이 거버넌스 설계를 커리큘럼의 앞에 두는 이유다. 사업영역 →