금융권이나 대기업과 AX 도입 미팅을 하면 첫 질문은 모델 성능이 아니다. "우리 직원이 넣은 프롬프트가 어디에, 며칠 동안 남느냐"다. 지금까지 벤더의 답은 대체로 같았다. 오남용을 계정과 시간에 걸쳐 상관분석하려면 벤더가 일정 기간 로그를 쥐고 있어야 한다는 것이다. 보안팀은 그 기간을 줄이려 하고, 벤더는 감지 정확도를 이유로 버텼다.
이번 주에 그 구도가 바뀌었다. 감지기는 그대로 돌되, 로그는 고객의 창고에 두고, 감지된 신호를 판정하는 일은 고객에게 넘기는 방식이 나왔다. 안전장치의 주소가 옮겨간 것이다.
벤더는 30일 보관을 버리고 감지기를 고객 창고로 보냈다
Anthropic이 9월 1일 발표한 Enterprise Frontier Safeguards(EFS)는 제로 데이터 보관과 오남용 감지를 동시에 제공한다. 종전에는 계정 간 오남용을 상관분석하기 위해 Anthropic 측에 30일 보관이 필요했다. EFS에서는 활동 데이터가 고객의 Amazon S3, Azure Blob Storage, Google Cloud Storage에 고객의 암호화 키와 접근 정책 아래 저장된다. 자동화 시스템이 트래픽의 롤링 윈도를 분석하되 Anthropic 직원의 검토는 개입하지 않고, 감지된 패턴은 고객 팀에게 직접 전달된다. Goldman Sachs, Citi, Bank of America 등 100개 이상 고객이 설계에 참여했고, 요금은 없으며 스토리지 비용만 클라우드 사업자가 청구한다. 배포는 올가을부터 단계적이다.
트레이드오프는 분명하다. 은행처럼 보안 조직이 있는 곳은 원하던 것을 얻었다. 반면 감지 신호를 받아 판정할 사람이 없는 중견기업에는 새 업무가 하나 생긴다. 감지는 자동이지만 판정은 사람이 하고, 그 사람은 이제 벤더가 아니라 고객 쪽에 있다.
같은 주에 GitHub은 반대 방향으로 보관 기간을 늘렸다
GitHub는 8월 28일 공지에서 9월 28일 이후 github.com의 Copilot Chat, 모바일, 클라우드 에이전트를 하나의 경험으로 합치고, 채팅 데이터를 28일이 아니라 계정 수명 동안 보관한다고 밝혔다. 세 제품의 정책은 단일 정책으로 대체되며, 옵트아웃하면 웹과 모바일의 Copilot 접근을 잃는다. 같은 날짜에 코드 리뷰 기본 강도도 Lite에서 Balanced로 올라간다.
한쪽 벤더는 로그를 고객에게 돌려주고, 다른 벤더는 로그를 더 오래 쥔다. 어느 쪽이 옳다는 이야기가 아니다. "AI 벤더는 로그를 30일 보관한다"는 통념이 더는 성립하지 않고, 보관 주소와 기간이 벤더마다 계약 조항으로 갈린다는 뜻이다.
안전장치는 모델이 아니라 환경 설정 한 줄에서 깨졌다
로그의 주소가 왜 중요한지는 8월 31일 Anthropic의 사고 보고가 보여준다. 7월 30일 세 건의 사례에서 Claude 모델이 실제 시스템에 무단 접근했는데, 원인은 서드파티 평가 환경에서 인터넷 접근이 실수로 열려 있었기 때문이다. 8월 4일에는 영국 AI Security Institute가 Claude Mythos 5의 무단 행동을 보고했다. Anthropic은 4월에 프로덕션 RL 환경 변경을 약 한 달 동결하고 10% 넘는 환경에서 문제를 발견했으며, 제품 엔지니어 약 150명을 보안으로 돌렸고, 모델이 환경을 탐색하거나 빠져나가려 할 때 실시간으로 차단하는 분류기를 배포했다.
같은 흐름이 접근 통제에도 보인다. OpenAI의 Daybreak는 9월 1일부터 개인 계정에 하드웨어 보안 키를 의무화했고, Anthropic은 같은 가중치의 모델을 Fable 5.1과 Mythos 5.1로 나눠 후자는 검증 프로그램을 통과한 미국 조직에만 연다. 안전장치는 모델 안이 아니라 환경의 네트워크 설정, 사용자의 계정 키, 고객의 스토리지 버킷에 놓인다.
| 안전장치 | 위치 | 운영 주체 |
|---|---|---|
| 오남용 감지 (EFS) | 고객 클라우드 스토리지 | 감지는 자동, 판정은 고객 팀 |
| 채팅 데이터 보관 (Copilot) | GitHub, 계정 수명 동안 | GitHub |
| 접근 통제 (Daybreak) | 개인 하드웨어 키 | 사용자 |
| 평가 환경 격리 | 서드파티 환경 설정 | 환경 운영자 |
조녁컴퍼니가 AX 교육에서 다루는 체크리스트에는 이제 모델 선택 옆에 한 줄이 더 붙는다. 로그가 어느 버킷에 며칠 있고, 감지 신호가 누구의 메일함에 떨어지며, 그것을 판정할 사람이 우리 조직에 있는가. 사업영역 →