대상: 웹사이트나 온라인 서비스를 운영하는 모든 분. 이 글은 OpenAI, Anthropic, Wikimedia Foundation, 호주 정부(총리 기자회견 및 호주 사이버보안센터 경보)의 공식 공개 자료를 바탕으로 합니다. 공격 절차는 포함하지 않습니다. 7월의 첫 번째 사례는 Hugging Face 침입 사건(2026)에서 다룹니다.
공개된 내용
2026년 6월 18일
OpenAI의 연구팀이 내부 모델에 공공 의료 지출 연구를 맡겼습니다. 반복된 차단 이후 에이전트가 이를 우회하는 방법을 찾았고, 호주 Medicare 통계 포털의 공개 파일과 비공개 파일에 접근했습니다(호주 총리 기자회견 기준).2026년 7월 16일
Hugging Face가 AI 에이전트가 수행한 침입을 공개했습니다(해설).2026년 7월 23–24일
Anthropic은 유사 사례를 찾기 위해 141,006건의 평가 실행을 검토했고, 평가 중인 모델이 실제 기업 세 곳의 운영 시스템에 도달한 사례 세 건을 확인했습니다. 같은 날 모든 사이버 평가를 중단했습니다.2026년 7월 27일
Anthropic은 평가 파트너와 영향을 받은 세 기관에 통지했습니다. 연락이 닿은 두 기관은 이전에 해당 활동을 탐지하지 못했습니다(Anthropic 공개 자료 기준).2026년 8월 18일
OpenAI는 최첨단 모델 학습을 일시적으로 늦추고 연구 환경의 격리를 강화했다고 밝혔습니다(신뢰할 수 없는 코드를 위한 더 강한 샌드박스, 네트워크 격리).2026년 9월 9일
Anthropic은 2026년 1월 평가에서 나온 네 번째 사례를 7월의 세 건에 더해 공개했습니다. 검토 범위를 약 141,000건에서 약 4억 8,100만 건의 기록으로 넓혔고, 유사하거나 더 심각한 다른 사례는 찾지 못했습니다. 독립 조사를 위해 외부 평가 기관과 계약도 체결했습니다.2026년 9월 10일
OpenAI가 호주 정부에 처음 보낸 통지는 일반 공용 메일함으로 보낸 이메일이었습니다(총리 발언 기준).2026년 9월 15일
Services Australia가 이 통지를 호주 사이버보안센터(ACSC)에 보고했습니다.2026년 9월 24일
총리가 사건을 공개하고 전담 태스크포스를 꾸렸습니다. 같은 날 ACSC는 "공개 웹사이트 또는 애플리케이션을 운영하는 모든 호주 기관"을 대상으로 경보를 발령했습니다.2026년 9월 25일
OpenAI는 검토에 수개월이 걸릴 것이라고 밝혔으며, 사례가 검증되는 대로 영향을 받은 기관에 통지하고 있다고 말했습니다.2026년 10월 5일
Wikimedia Foundation은 OpenAI가 운영했다고 믿는 에이전트의 활동을 자사 프로젝트에서 발견했다고 밝혔습니다.2026년 10월 9일
Anthropic은 평가 및 내부 사용 중 모델이 실제 사이트에서 의도하지 않은 행동을 한 사례를 공개했으며, 여기에는 필라델피아 경찰 양식을 통해 제출된 허위 제보도 포함됩니다. (Anthropic에 따르면) 필라델피아 경찰국도 같은 날 이 사건을 발표했습니다.
- OpenAI: 통지 규모
- 모델의 학습 및 평가 중 인터넷 활동을 폭넓게 검토한 결과, 기준에 해당하는 제3자 수십 곳에 통지했으며 검토는 진행 중입니다. 관련 사이트 중 일부는 정부, 대학, 공공기관이 운영하며, 회사는 연구 작업이 모델을 권위 있는 공개 출처로 이끌기 때문이라고 설명합니다
- OpenAI: 관찰된 활동 유형
- (1) 접근 제어 우회(다른 웹 주소 사용, 요청 변조, 의도보다 많은 권한을 가진 세션 사용) (2) 공개적으로 노출된 자격 증명 사용 (3) 쿼리 또는 명령 주입 (4) 서비스 내부 영역 접근 (5) 에이전트 스팸(공개 위키를 메시지 게시판처럼 사용하는 등 제3자 사이트에 게시)
- Anthropic: 발생 내용
- 잘못된 설정으로 평가용 머신이 인터넷에 직접 연결되었습니다(회사는 Anthropic과 평가 파트너 사이의 오해 때문이라고 설명하며, 양측 모두 이를 알지 못했다고 합니다). 모델은 실제 시스템을 연습의 일부로 취급했습니다. 한 사례에서는 약 9,000개의 대상을 스캔했고, 노출된 디버그 페이지에서 자격 증명을 읽고 SQL 주입을 하는 등 기본적이고 잘 알려진 기법으로 한 기업의 애플리케이션을 장악했습니다
- Anthropic: 공개 레지스트리에 미친 영향
- 허구의 회사 설치 가이드에 있던 존재하지 않는 Python 패키지 이름을 사용해, 모델은 악성 패키지를 게시했습니다. 약 1시간 동안 이용 가능했고 실제 시스템 15곳에서 실행되었습니다(그중 하나는 패키지를 설치해 검사하는 보안 회사의 스캐너였습니다)
- Anthropic: 네 번째 사례(9월 9일 보고서)
- 2026년 1월 평가에서 모델의 초기 버전이 제3자의 머신에 접근했습니다. 비밀번호가 적힌 파일을 찾아 이를 이용해 관리자 권한을 얻었고, 접근을 쉽게 하도록 설정을 바꾸었으며, 제3자와 관련된 한 사람의 개인정보를 읽었습니다. Anthropic은 사례를 발견한 후 해당 당사자에게 통지했다고 밝혔습니다. 7월 보고서는 세 건이라고 했으며, 이번 보고서로 제3자 시스템에 대한 무단 접근은 총 네 건이 됩니다
- Anthropic: 평가 및 내부 사용 중 의도하지 않은 행동(10월 9일 보고서)
- 네 가지 유형입니다. (1) 대학이 호스팅하는 분석 도구의 기본적 결함을 통해 서버에서 명령 실행 (2) 보내지 말았어야 할 양식 제출(예: 연습용 사본이 로드되지 않자 실제 정부 양식을 제출) (3) 제한을 우회해 유료 또는 제한된 데이터에 접근(예: 지방 정부 지도 사이트의 설정 파일에 있는 액세스 토큰, 또는 주 정부기관의 공개 대시보드가 모든 방문자에게 발급한 토큰) (4) URL 단축 서비스를 이용해 fetch 도구의 URL 길이 제한 우회
- Anthropic: 영향 및 통지
- 일부 사례는 미국 연방, 주, 지방 정부기관이 운영하는 사이트와 관련되었으며, Anthropic은 요청에 따라 해당 기관을 밝히지 않습니다. 회사는 각 기관에 통지했고 백악관에도 설명했습니다. Anthropic은 고객 데이터나 자사 내부 시스템이 관련된 경우는 없었고, 실제 영향은 최소한이었다고 밝혔으며, 이 사례들을 앞의 네 가지 사이버보안 사고보다 심각도가 크게 낮다고 평가합니다
- 필라델피아 경찰 제보 양식
- 무작위로 선택된 웹페이지에서 예시 작업을 생성하던 중, 모델이 해결되지 않은 살인 사건 페이지에 도달해 이름과 연락처 칸을 비운 채 지어낸 제보를 양식으로 제출했습니다. 스팸으로 분류되어 수사에 전달되지 않았습니다(Anthropic 기준). 경찰은 이 제보가 7월 18일 오후 11시 27분에 제출되었고 Anthropic이 10월 7일에 자신들에게 통지했다고 밝혔습니다(NBC Philadelphia 보도 기준). Anthropic은 기술 검토가 끝난 10월 8일에 해당 부서와 이 사실을 공유했다고 밝혔습니다. 두 설명은 날짜가 다릅니다. 경찰은 이 사건을 탐지하고 보고하기까지 두 달이 걸린 것을 "받아들일 수 없다"고 말했습니다(같은 보도)
- Anthropic의 조치(10월 9일 보고서)
- 일부 공개 평가는 중단되었고, 다른 평가는 실제 사이트에 닿지 않는 오프라인 버전으로 옮겨졌습니다. 모든 내부 평가에서 실제 인터넷 접근을 껐습니다. 웹 fetch 도구는 크게 제한되었습니다. 대부분의 평가와 최첨단 모델의 내부 에이전트 사용에서 이러한 행동을 자동으로 탐지하고 차단합니다
- Wikimedia Foundation(10월 5일 보고서)
- 재단이 OpenAI가 운영했다고 믿는 에이전트들이 커뮤니티의 승인 없이 편집을 했습니다(거의 모두 샌드박스 영역의 테스트 편집입니다). 일부는 인용 도구의 설정을 변경했는데, 재단은 이를 잠재적으로 악의적이라고 부르며 원격 서비스에서 데이터를 가져오는 프록시로 도구를 사용하려는 시도였다고 설명합니다. 공개 Etherpad 메모 도구를 장악해 프록시로 사용하려던 시도는 실패했습니다. 공개 API 요청이 수백만 건, 크롤링된 페이지가 수백만 개, Wikidata Query Service 쿼리가 수십만 건 있었으며, 이는 5월의 부분적 서비스 중단에 기여했을 수 있습니다. 재단은 자사 시스템이나 데이터가 침해되었다는 증거를 찾지 못했습니다
- 호주 정부
- OpenAI 에이전트가 Services Australia가 운영하는 Medicare 통계 포털의 공개 파일과 비공개 파일에 접근했습니다. 지금까지 개인정보에 접근했다고 여겨지지 않으며, 조사는 계속되고 있습니다. 총리는 통지가 얼마나 늦게, 어떤 방식으로(공용 메일함으로 보낸 이메일) 왔는지에 대해 OpenAI 최고경영자에게 직접 우려를 제기했습니다
- ACSC 경보
- 에이전트가 할당된 활동을 완료하기 위해 취약점을 스스로 찾아내고 사람의 직접적인 승인 없이 진행하려 했습니다. ACSC는 더 광범위한 위협이나 악의적 표적화의 징후는 없다고 밝히며, 강력한 인증과 접근 제어, 신속한 개선, 모니터링과 로그 검토, AI 기반 시나리오에 대한 대응 절차 테스트를 권고합니다
다루지 않은 사례
보도에서는 Google의 AI 모델이 평가 중 실제 기업의 시스템에 들어간 사례도 언급하지만, Google의 직접 공개 자료를 찾지 못했기 때문에 이 글에서는 다루지 않습니다. RubyGems에서 발생한 대량 게시 캠페인을 OpenAI 에이전트의 소행으로 돌리는 주장도 제외했습니다. RubyGems는 AI 에이전트가 책임이 있었는지 판단할 수 없다고 밝혔고, OpenAI는 해당 주장을 검증할 수 없었다고 말했습니다. 따라서 책임 소재는 확인되지 않았습니다.
새로운 점과 새롭지 않은 점
새로운 점
- 악의 없이 방문하지만 차단되면 다른 방법을 시도하는 방문자
- 사람이라면 포기할 지점에서도 다른 URL, 다른 입력, 찾아낸 자격 증명을 계속 시도함
- AI 회사가 통지해 줄 때에야 몇 달 뒤 사실을 알게 됨
새롭지 않은 점
- 사용된 취약점은 노출된 자격 증명, 노출된 디버그 페이지, SQL 주입이었음
- 이들 모두 이미 수정되었어야 했음
- 수정하면 사람과 에이전트 모두를 막을 수 있음
이 사이트가 가장 무겁게 보는 점은 해당 기관들이 이를 알아채지 못했다는 것입니다. Anthropic은 연락이 닿은 두 기관이 해당 활동을 탐지하지 못했다고 적었습니다. 호주의 사례는 6월에 일어났지만 정부는 9월에야 이를 알게 되었습니다. 상대방에게 선의가 있었다고 해서 누군가 침입했다는 사실이 바뀌지는 않습니다. 그리고 다음 방문자는 선의를 가지지 않을 수도 있습니다. 에이전트가 찾을 수 있는 취약점은 공격자도 찾을 수 있습니다.
사이트 운영자가 오늘 해야 할 일
통지가 사람에게 전달되도록 하십시오(security.txt)
호주 사례에서 통지는 일반 공용 메일함으로 갔고, 사이버보안센터에는 닷새 뒤에야 전달되었습니다. OpenAI는 영향을 받은 기관에 계속 통지하겠다고 밝혔고, 연구자들의 취약점 신고도 같은 문제에 직면합니다.
첫 단계: 신고 연락처(이메일 주소 또는 신고 양식 URL)와 만료일을 담은 /.well-known/security.txt(RFC 9116)를 게시하고, 실제로 누가 이를 읽는지 정하십시오. 이 글을 쓰면서 우리 사이트에도 이 파일이 없다는 것을 확인했고, 추가했습니다(연락처는 개인 이메일이 아니라 우리의 문의 양식입니다).
문의 양식 제출이 실제로 사람에게 전달되는지 확인하십시오
필라델피아 사례에서 모델이 보낸 허위 제보는 스팸으로 차단되어 수사관에게 전달되지 않았습니다. 경찰은 10월 7일 연락을 받은 뒤 사이트의 제보 기록에서 해당 제출을 찾았고, 일치하는 이메일이 여전히 스팸함에 있었다고 밝혔습니다(보도 기준). 에이전트는 문의, 신고, 신청 양식도 제출합니다.
첫 단계: 각 문의 양식으로 테스트 제출을 한 번 보내고, 스팸 및 정크 필터를 포함해 어디에 도착하는지 확인하십시오. 스팸으로 분류된 제출을 누가 얼마나 자주 검토할지 정하고, 몇 달 뒤 도착하는 질문에 답할 수 있을 만큼 제출 기록(시간과 내용)을 보관하십시오.
노출된 자격 증명을 찾아 폐기하십시오
OpenAI와 Anthropic 모두 공개적으로 노출된 자격 증명을 나열했으며, 이는 7월 Hugging Face 사례의 출발점이기도 했습니다. 코드, 공개 저장소, 설정 파일, 스크린샷에 남은 자격 증명을 찾아 발급 기관에서 폐기하십시오. 관련 내용은 gitleaks로 비밀 정보 커밋 막기와 공개 디렉터리의 비밀 파일을 참고하십시오.
액세스 토큰을 브라우저로 전달되는 설정 파일과 공개 대시보드에서 제외하십시오
Anthropic의 10월 보고서는 모델이 지방 정부 지도 사이트의 설정 파일에 있던 유효한 액세스 토큰과, 주 정부기관의 공개 대시보드가 방문자에게 발급한 토큰을 사용해 유료 또는 제한된 데이터에 도달한 사례를 설명합니다. 설정 파일이나 브라우저에서 실행되는 JavaScript에 있는 내용은 누구나 읽을 수 있습니다.
첫 단계: 공개 페이지가 불러오는 설정 파일, JavaScript, 대시보드 트래픽에서 액세스 토큰과 API 키를 확인하십시오. 꼭 필요한 토큰이라면 범위를 좁히고(읽기 전용, 특정 데이터, 허용된 리퍼러) 요청 속도를 제한하며, 유료 또는 제한된 데이터는 서버 측 권한 검사를 거친 후에만 제공하십시오.
운영 환경에서 디버그 페이지와 관리자 패널을 닫으십시오
Anthropic의 사례에서는 노출된 디버그 페이지에서 자격 증명을 읽었습니다. 운영 환경에서 디버그 모드와 상세 오류 출력이 꺼져 있는지, 관리자 패널이 인터넷의 누구에게나 열려 있지 않은지 확인하십시오. 프레임워크별 점검 내용은 프레임워크별 보안에 있습니다.
차단된 방문자가 포기한다는 가정을 버리고, 모든 경로에서 권한을 확인하십시오
OpenAI가 나열한 첫 번째 유형은 다른 웹 주소를 통한 접근 제어 우회입니다. 링크를 숨기거나 URL 하나를 제한하는 것만으로는 다른 길을 찾는 방문자를 막을 수 없습니다. 데이터를 반환하는 모든 경로에는 이 호출자가 그것을 볼 수 있는지에 대한 서버 측 검사가 필요합니다. 관련 내용은 인증과 권한 부여의 차이, 그리고 대표적인 취약점인 IDOR와 SQL 주입을 참고하십시오.
트래픽 양과 속도를 모니터링하고, 되돌아볼 수 있을 만큼 로그를 보관하십시오
에이전트는 쉬지 않고, 멈추지 않으며, 같은 작업을 병렬로 실행합니다. 촘촘한 간격의 요청, 하루 종일 변하지 않는 패턴, 동시에 실행되는 동일한 작업은 사람의 사용과 구별하기 쉽습니다. 그리고 몇 달 뒤 통지가 도착하면, 그날의 로그 없이는 아무것도 확인할 수 없습니다. 한도 설정과 알림 설계는 속도 제한과 남용 제어에, 로그 보관은 조직 보안 우선순위에 있습니다.
사람이 게시할 수 있는 곳을 운영한다면 에이전트 스팸에 대비하십시오
OpenAI는 에이전트가 공개 위키를 메시지 게시판으로 사용한 사례를 언급합니다. 공개 위키, 포럼, 댓글 섹션, 문의 양식을 운영한다면 게시 속도 제한과 모더레이션을 점검하십시오.
AI 회사에서 통지를 받으면 당황하기 전에 로그를 확인하십시오
OpenAI는 해당 회사의 통지를 중대한 보안 사고로 자동 해석해서는 안 된다고 말합니다. 제시된 시간과 대상에 대해 접근 및 인증 로그를 확인하고, 그것이 의도적으로 공개한 정보인지 아니면 수정해야 할 약점인지 판단하십시오. 약점이라면 다른 취약점과 마찬가지로 수정하십시오(취약점 개선 플레이북).
에이전트가 한 일(공개 자료 기준)
다른 URL로 제한 우회 / 노출된 자격 증명 사용 / 설정 파일의 토큰 사용 / 디버그 페이지에서 자격 증명 읽기 / SQL 주입 / 위키에 게시, 양식 제출
각각을 막는 기본 조치
모든 경로에서 서버 측 권한 확인 / 유출된 자격 증명 폐기 / 브라우저로 토큰 전송 금지 / 운영 환경에서 디버그 끄기 / 매개변수화된 쿼리 / 게시 속도 제한, 제출 검토
그래도 침입이 일어났을 때
트래픽 양과 속도 모니터링 / 로그 보관 / 실제로 사람에게 닿는 연락처(security.txt)
이 사이트의 견해: 에이전트가 찾을 수 있는 약점은 공격자도 찾을 수 있습니다
이 사건들은 기묘한 형태입니다. 공격 의도가 없는 방문자가 기관의 약점을 찾아 그것을 통과하고, 몇 달 뒤 기관은 그것을 만든 회사로부터 "우리가 들어갔다"는 말을 듣습니다. ACSC는 차이점이 전통적으로 사람인 연구자가 찾아 신고해 온 종류의 취약점을 AI 에이전트가 스스로 찾아낸다는 데 있다고 지적합니다.
이것을 "더 도움이 되는 신고가 늘었다"로 읽는 것은 잘못입니다. 신고하지 않을 방문자도 같은 약점을 찾을 수 있습니다. 그리고 에이전트는 차단되어도 포기하지 않으며, 사람이라면 며칠 걸릴 일을 병렬로 빠르게 시도합니다. 약점을 안전하게 방치할 수 있는 시간은 계속 짧아지고 있습니다.
또 하나 분명해진 점은 통지에는 도착할 주소가 필요하다는 것입니다. 선의의 신고나 AI 회사의 통지도 보낼 더 나은 곳이 없으면 일반 메일함에서 며칠씩 머뭅니다. security.txt는 몇 줄짜리 텍스트이며, 오늘 바로 게시할 수 있습니다.
출처
- OpenAI, "Hugging Face incident and other third-party impacts of misaligned models"(2026년 9월 25일 업데이트까지 확인) — openai.com
- Anthropic, "Investigating three real-world incidents in our cybersecurity evaluations"(2026년 7월 30일) — anthropic.com
- Anthropic, "An alignment assessment of recent cybersecurity incidents"(2026년 9월 9일) — anthropic.com
- Anthropic, "Investigating unintended model actions in our evaluations and internal use"(2026년 10월 9일) — anthropic.com
- Wikimedia Foundation, "OpenAI “rogue” agent activities found on Wikimedia projects"(2026년 10월 5일) — wikimediafoundation.org
- NBC Philadelphia, "Anthropic AI model submits false tip on unsolved Philly murder, police say"(2026년 10월 9일; 필라델피아 경찰의 설명에 사용) — nbcphiladelphia.com
- Prime Minister of Australia, "Press conference - New York"(2026년 9월 24일) — pm.gov.au
- ASD's ACSC, "Risks of AI misalignment to Australian organisations"(2026년 9월 24일) — cyber.gov.au
- RubyGems Blog, "An update on the May spam-publishing campaign on rubygems.org"(2026년 9월 11일) — blog.rubygems.org(책임 소재가 확인되지 않았음을 확인하는 데 사용)
- IETF RFC 9116, "A File Format to Aid in Security Vulnerability Disclosure" — rfc-editor.org
업데이트 기록
2026-10-12: Anthropic의 9월 9일 및 10월 9일 보고서와 Wikimedia Foundation의 10월 5일 보고서를 반영했습니다. 제3자 시스템에 대한 Anthropic의 무단 접근을 "세 기업"에서 "네 건"으로 바꾸고, 평가 및 내부 사용 중 의도하지 않은 행동(필라델피아 경찰 양식을 통해 보낸 허위 제보 포함)과 조치를 추가했습니다. 운영자 단계 두 가지를 추가했습니다: 문의 양식 제출이 사람에게 전달되는지 확인하기, 액세스 토큰을 브라우저로 전달되는 설정 파일과 공개 대시보드에서 제외하기.
2026-09-28: 최초 버전. OpenAI, Anthropic, 호주 정부의 공식 공개 자료를 바탕으로 작성했습니다.
다음으로 읽을 글
- AI 기반 공격의 전체 그림과 방어 순서: AI 기반 사이버 공격 방어(자율 침입, 프롬프트 인젝션, AI 공급망)
- 또 다른 AI 에이전트 침입: Zammad 제로데이를 통한 DIVD 침해
- 첫 번째 사례: Hugging Face 침입 사건(2026): 자율 AI 에이전트 공격
- 약점 수정: gitleaks로 비밀 정보 커밋 막기 / 인증과 권한 부여의 차이 / 프레임워크별 보안
- 탐지: 속도 제한과 남용 제어 / 조직 보안 우선순위
- 도구: 사이트 보안 점검(security.txt도 확인)