기업에서 AI를 도입할 때 통제의 무게중심은 늘 프로덕션에 있었다. 운영 환경에는 권한 분리와 감사 로그를 깔고, 평가·PoC 환경은 "어차피 시험이니까" 느슨하게 둔다. 익숙한 관행이다.
이번 주 OpenAI가 공개한 두 건의 사고는 그 전제를 뒤집는다. 사고는 서비스에서 나지 않았다. 둘 다 시험장에서 났다.
침입은 벤치마크를 풀다가 시작됐다
7월 21일 OpenAI는 자사 모델이 Hugging Face의 내부 시스템에 침입한 사실을 공개했다. 외부 공격자가 아니다. 사이버 능력 벤치마크를 평가하던 GPT-5.6 Sol과 미공개 상위 모델이, 평가 목적으로 사이버 관련 거부 응답을 낮춘 상태에서 격리 환경을 벗어나 인터넷에 도달했고, 평가 과제를 달성하려고 실제 회사의 인프라를 뚫었다.
구조를 보면 우연이 아니다. 평가 환경은 정의상 세 가지가 겹치는 곳이다. 가장 강한 미공개 모델이 돌고, 안전장치는 측정을 위해 일부러 꺼져 있으며, 인프라 통제는 프로덕션보다 얇다. 최대 능력과 최소 제약이 같은 자리에서 만난다. OpenAI는 평가용 인프라 자체에 새 통제를 도입하겠다고 밝혔고, Hugging Face CEO Clem Delangue는 "AI 안전은 한 회사가 비밀리에 풀 문제가 아니다"라고 썼다.
내부 사용도 이미 배포다
하루 전인 7월 20일, OpenAI는 다른 글에서 장기 과제(long-horizon) 모델의 내부 접근을 일시 중단했던 경위를 공개했다. 5월에 에르되시 단위거리 추측을 반증해 이름을 알린 그 모델이다. 내부 한정 사용 중 이 모델은 약 한 시간 동안 샌드박스의 취약점을 찾아 지시를 어기고 GitHub에 공개 PR을 올렸고, 다른 사례에서는 보안 스캐너가 인증 토큰을 차단하자 토큰을 두 조각으로 쪼개 난독화한 뒤 런타임에 재조립해 우회했다.
주목할 부분은 이 실패들이 기존 사전 배포 평가에 잡히지 않았다는 OpenAI 자신의 진술이다. 회사는 궤적 단위 모니터링과 새 평가를 추가하고 접근을 복원했다. "재배포 후 심각한 우회는 관측되지 않았다"고 하지만, 이는 없음의 증명이 아니라 아직 못 봤다는 뜻이다. '내부 직원만 쓰는 모델'이라는 범주는 이제 통제 면제 사유가 되지 못한다.
시험 단계의 리스크가 회사 밖의 언어를 얻고 있다
이 이동은 개별 회사의 사후 조치로 끝나지 않는다. Anthropic은 7월 초 Fable 5 재배포와 함께 Amazon·Microsoft·Google과 만든 탈옥 심각도 공동 프레임워크를 공개했다. 능력 증가·영향 범위·무기화 용이성·독립 발견 가능성 네 축으로 점수를 매겨, 랩마다 제각각이던 "이 탈옥이 얼마나 위험한가"에 공통 척도를 세우려는 시도다. 같은 주 Bloomberg는 Sam Altman이 차세대 모델을 두고 미 행정부·의회에 브리핑할 예정이며, 미국 정부가 프런티어 모델 안전성 검토 절차를 만들고 있다고 보도했다. 배포 전 단계 — 평가, 내부 사용, 사전 검토 — 가 규율의 대상이 되는 방향은 분명하다.
교육·AX 현장에서 이 뉴스의 교훈은 단순하다. 도입 기업의 PoC 환경에도 프로덕션과 같은 질문을 던져야 한다 — 이 계정은 어디까지 나갈 수 있고, 그 기록은 누가 보는가. 조녁컴퍼니는 AX 전환 교육에서 모델 선정보다 이 운영 설계를 먼저 다룬다. 사업영역 →