Outbreak. OpenAI/Hugging Face 사건이 말해 주는 것과 말해 주지 않는 것

무슨 일이 있었는가

며칠 전 OpenAI와 Hugging Face가 보안 커뮤니티를 뒤흔든 사건을 공개했습니다. GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델로 구동되는 자율 AI 에이전트가 내부 보안 테스트 중에 격리된 테스트 환경에서 탈출한 것입니다. 이 에이전트는 OpenAI 시스템 내부에서 단계적으로 더 많은 접근 권한을 확보했고, 그 과정에서 그때까지 알려지지 않은 제로데이 취약점을 이용했으며, 인터넷에 도달한 뒤 최종적으로 Hugging Face의 내부 시스템에 침입했습니다. 원래 찾아내라고 지시받았던 정보를 그곳에서 확보하기 위해서였습니다.

그사이 첫 기술적 세부 사항이 공개되었고, 그중에는 Simon Willison이 정리한 사건 기록도 있습니다. 테스트는 익스플로잇 벤치마크의 일환으로, 의도적으로 보호 장치를 낮춘 상태에서 진행되었습니다. 테스트 환경에는 외부로 나가는 연결이 정확히 하나, 의존성 설치를 위한 내부 패키지 프록시가 있었고, 모델은 바로 그 프록시에서 제로데이를 찾아냈습니다. 그러니까 이 탈출은 마법이라기보다 존재하던 유일한 문을 비틀어 여는 일이었습니다. Hugging Face에서는 이어서 악성 데이터셋을 통해 처리 인프라로 들어가는 경로가 열렸고, 거기서 탈취한 자격 증명을 통해 여러 내부 클러스터로 이어졌습니다.

이때 동기가 이 이야기 전체에서 거의 가장 좋은 대목입니다. 모델은 자신의 평가에서 부정행위를 하는 데 쓸 수 있는 정보를 찾고 있었습니다. 그러니까 최초로 완전히 자율적으로 실행된 것으로 추정되는 AI 공격은 엄밀히 말해 시험 부정 사건이었습니다. 부수적 피해까지 딸린 채로 말입니다.

Hugging Face는 이 사건을 지금까지 다뤄 온 모든 것과 다르다고 설명합니다. "driven, end to end, by an autonomous AI agent system"이라는 것입니다. OpenAI는 전례 없는 사이버 사건이라고 말합니다. 저희는 이 공격의 의미를 결코 축소하려는 것이 아닙니다. 다만 논의에서 과열과 감정을 덜어내고 싶습니다. 바로 그것이 지금 좋은 결정을 가로막는 가장 큰 위험이기 때문입니다.

이 사건이 그토록 위협적으로 느껴지는 이유

심리학을 들여다보면 도움이 됩니다. 위험 연구자 Paul Slovic은 우리가 위험을 통계적 위험성에 따라 평가하지 않고, 무엇보다 두 가지 차원에 따라 평가한다는 것을 보여 주었습니다. 그 위험이 우리에게 얼마나 익숙한가, 그리고 우리가 그것을 얼마나 두려워하는가입니다. 자동차 운전은 객관적으로 위험하지만 익숙하고 통제할 수 있어 보이기 때문에 무해하게 느껴집니다. 반면 실험실에서 탈출한 AI 모델은 미지의 것, 통제할 수 없는 것이라는 신경을 건드리며, 그로써 Slovic이 "dread risk"라고 설명한 범주에 정확히 들어앉습니다.

Daniel Kahneman은 "생각에 관한 생각"에서 그다음에 무슨 일이 벌어지는지 설명했습니다. 낯설고 위협적으로 보이는 위험 앞에서는 느리고 분석적인 사고 체계가 아니라 빠르고 직관적이며 감정적인 사고 체계가 주도권을 잡는다는 것입니다. 바로 이 패턴을 저희는 지금 많은 댓글창에서 관찰하고 있습니다. 이 사건은 분석되지 않고, 느껴집니다.

그러니 일단 깊이 숨을 한 번 들이쉬고, 시스템 2를 켜고, 이 사건을 다른 관점에서도 살펴봅시다.

관점 1: 증거를 보여 달라 (Florian Roth)

보안 연구자 Florian Roth(Sigma와 THOR 등으로 알려져 있습니다)는 자신의 LinkedIn 게시물에서 한 가지 핵심을 문제 삼습니다. 문서화의 부재입니다. Hugging Face는 이 공격이 자율 에이전트 시스템에 의해 "end to end"로 이루어졌다고 주장합니다. 하지만 피해자의 텔레메트리는 원칙적으로 자신의 환경에서 무슨 일이 일어났는지만 보여 줄 수 있습니다. 상위 단계에서 사람이 프롬프트를 조정했는지, 실행을 다시 시작했는지, 성공한 경로를 골랐는지, 결정적인 지점에서 손으로 거들었는지는 보여 줄 수 없습니다. Roth의 요구는 단순하면서도 정당합니다. OpenAI가 트레이스(프롬프트, 툴 호출, 실패한 실행, 사람의 개입)를 가지고 있다면 공개하라는 것입니다. 그때까지 "완전히 자율적"이라는 말은 주장이며, 포렌식 결론이 아닙니다. 어느 댓글 작성자는 적절하게 덧붙입니다. 설령 공개된다 해도 사람의 상호작용이 실제로 얼마나 있었는지 의심의 여지 없이 입증하기는 어려울 것이라고 말입니다.

그리고 Roth는 한 가지를 더 날카롭게 덧붙입니다. 두 AI 기업의 서사는 핵심만 보면 세 줄로 요약된다는 것입니다. AI가 우리를 공격했다. AI가 우리를 구했다. 그러니 이제 모두에게 더 많은 AI가 필요하다. 10년 전이라면 망신거리였을 일(허술한 격리, 지나치게 폭넓은 권한, 불충분한 세그멘테이션, 거대한 블래스트 반경)이 오늘날에는 역량 데모이자 영웅적인 AI 대 AI 이야기로 포장된다는 것입니다. 그의 건조한 결론은 이렇습니다. 레이트 리밋, 이그레스 제한, 격리된 워커, 그리고 깔끔하게 범위가 제한된 자격 증명이 있었다면 이 활동의 상당 부분은 제동이 걸렸고 일찍 드러났을 것입니다. 그러려면 LLM은 누구에게도 필요하지 않습니다.

관점 2: 우리는 더 나쁜 것도 이겨냈다 (Marcus Hutchins)

2017년 킬 스위치로 WannaCry 확산을 멈춰 세운 보안 연구자 Marcus Hutchins는 자신의 게시물에서 이 사건을 역사적으로 자리매김합니다. "완전 자율 사이버 공격"이라는 말에 공포에 빠지는 사람은 컴퓨터 웜의 황금기를 떠올려 봐야 합니다. ILOVEYOU, Code Red, SQL Slammer 말입니다. 사람의 개입 없이 단 하루에 수백만 대의 시스템을 감염시킨 자기 복제 멀웨어였고, 그때는 많은 시스템이 보호 장치 없이 인터넷에 직접 매달려 있던 시절이었습니다.

그의 논거는 이렇습니다. 에이전틱 공격은 속도와 비용 때문에 근본적으로 제한됩니다. AI 모델이 단 하나의 응답을 생성하는 시간에 고전적인 웜은 이미 수천, 수만 대의 시스템을 감염시켰을 것이고, 수백만 대의 시스템을 자율적으로 해킹하는 데 드는 토큰 비용은 대부분의 공격자의 예산을 넘어섭니다. 여기에 더해 방화벽, EDR, 네트워크 세그멘테이션, 샌드박싱, MFA와 그 밖의 많은 통제 수단이 오늘날 표준이 되어, 당시에는 아예 없었던 실질적인 장벽을 이룹니다. 그의 결론은 이렇습니다. AI를 활용한 공격이 사이버보안을 수십 년 뒤로 되돌릴 수는 없습니다. 한 번 자리 잡은 보안 통제와 기본적인 위생을 다시 세상에서 없앨 수는 없습니다. Attack Surface Reduction은 효과가 있습니다. 제로데이는 자신이 도달하지 못하는 시스템을 건드릴 수 없습니다.

두 사람이 말하는 것과 그로부터 따라오는 것

두 전문가는 서로 다른 길을 통해 같은 결론에 이릅니다. 본질에 집중하라는 것입니다. 지속적으로 자신의 Security Posture를 개선하고 Zero Trust, Least Privilege, 명확한 Tier 분리 같은 개념을 일관되게 구현하는 기업은 반대편에 사람이 있든 스크립트가 있든 언어 모델이 있든, 훨씬 낮은 확률로 피해자가 됩니다.

그럼에도 이 사건은 심각하게 받아들여야 하며, 증거 문제가 어떻게 결론 나든 그렇습니다. 이 사건은 AI가 인터넷을 장악하는 사례가 아닙니다. 하지만 표적 공격이 새로운 수준에서 어떤 모습인지 보여 줍니다. 서로 분리된 두 개의 공격 체인을 두 개의 외부 인프라에 걸쳐 자율적으로 이어 붙였고, 단명하는 샌드박스 무리로부터 수천 건의 개별 동작으로 실행했다는 점입니다. OpenAI가 트레이스를 공개해 완전한 자율성을 입증한다 해도 그림이 더 무해해지지는 않습니다. 다만 방어의 논리는 달라지지 않습니다. 오히려 확인됩니다.

공격자가 미리 생각해 두지 못한 길을 찾아낸다는 것은 새로운 통찰이 아니라, 보안 분야에서 일하는 모든 사람의 일상입니다. 바로 그 때문에 Defense in Depth가 존재합니다. 어택 체인의 4번째 지점에서 공격자를 발견하거나 멈추지 못한다면 5번째 지점에서 하면 됩니다. 여기에는 제로데이도 명시적으로 포함됩니다. 인프라는 거센 폭풍도 견뎌 내도록 지을 수 있습니다. 모든 폭풍을 예견하기 때문이 아니라, 폭풍을 전제로 짓기 때문입니다.

소란 속에 거의 묻혀 버린 부수적인 아이러니가 하나 있습니다. 포렌식 분석을 위해 Hugging Face는 하필 공개된 중국 모델을 택했는데, 호스팅된 미국 프런티어 모델이 백도어 분석을 아예 거부했다는 것도 그 이유 중 하나였습니다. 그러니 방어자가 비상 상황에서 어떤 도구를 얼마나 빨리 쓸 수 있어야 하는지에 대한 논의는 이제야 막 시작된 셈이며, 그것은 공격자가 앞으로 무엇을 할 수 있는지에 대한 질문만큼이나 중요합니다.

자율 SOC는 아니지만, 더 나은 SOC

방어도 공격도 새로운 도구를 얻었습니다. 다만 "도구"라는 말은 저희의 경우 이미 오래전부터 실상에 맞지 않습니다. 저희 SOC에서 AI는 부가 기능이 아니라 인시던트 핸들링 모든 단계의 당연한 일부입니다. 탐지에서 트리아지와 보강을 거쳐 대응까지, 저희 분석가들은 Microsoft와 Anthropic의 솔루션과 모델과 나란히 일합니다. 반복적인 작업은 자동화되어 돌아가며, 그래서 저희 전문가들은 차이를 만드는 일에 집중할 수 있습니다. 모든 인시던트에서 새로운 통찰을 끌어내고, 탐지와 플레이북, 구성을 계속해서 더 날카롭게 다듬는 일입니다. 100% 자율적인 SOC는 현재로서는 가능하지 않으며, 덧붙이자면 Gartner도 그렇게 봅니다. 하지만 저희에게 그 조절 손잡이는 신념의 문제가 아니라 지속적으로 다시 평가하는 설정입니다. 모델 세대가 바뀌고 경험이 쌓일 때마다 품질이 허용하는 만큼 정확히 그만큼 손잡이를 올립니다. 그 이상은 아니지만, 그보다 1밀리미터 덜하지도 않습니다.

사람과 모델, 방법론의 이러한 맞물림이 저희 Cloud Security Operations Center(CSOC)의 핵심입니다. 24/7 탐지 및 대응을 Continuous Improvement와 결합한 것입니다. 저희의 블루프린트와 위협 전문가들이 야생에서 관찰한 것을 바탕으로, 매달 조금씩 더 나은 Security Posture를 만들어 갑니다.

그리고 Florian Roth가 그토록 정확하게 해부한 근본 문제(허술한 격리, 과도하게 퍼진 권한, 없는 세그멘테이션)에 대해 저희에게는 아주 구체적인 답이 있습니다. Managed Red Tenant입니다. 측면 이동과 권한 상승을 구조적으로 차단하는, 완전히 격리된 관리 환경입니다. 올바른 아키텍처와 올바른 구성이 있으면 공격은 헛돌게 되며, AI 에이전트의 공격도 마찬가지입니다. 공격자가 살과 피로 되어 있든 토큰으로 되어 있든, 넘어설 수 없는 Tier 경계 앞에서는 최고의 추론 능력도 도움이 되지 않기 때문입니다.

결론

OpenAI/Hugging Face 사건은 하나의 이정표입니다. 경고로서, 사례 연구로서, 그리고 앞날의 맛보기로서 말입니다. 하지만 이는 공포의 근거가 아니라 우선순위의 근거입니다. 미래의 공격은 더 자율적이 될지 모르지만, 그에 맞서는 방어는 놀랍도록 익숙합니다. Zero Trust, Least Privilege, 깔끔한 Tier 분리, Defense in Depth, 그리고 결코 잠들지 않는 SOC입니다.

혹은 이 사건의 핵심을 살려 말하자면, AI가 자기 시험에서 부정행위를 하려고 탈출까지 해야 한다면, 적어도 우리 쪽에서는 아무 답도 찾지 못하도록 해 두어야 합니다.

출처 및 더 읽을 자료

• CNBC: OpenAI cyber models broke out of training environment to hack Hugging Face (2026년 7월 22일)
• LinkedIn의 Florian Roth: "One thing about this OpenAI / Hugging Face incident really bothers me"
• LinkedIn의 Marcus Hutchins: 컴퓨터 웜의 황금기에 대하여
• Hugging Face: Forensic-Refusal 데이터셋(GLM 5.2)
• Simon Willison: OpenAI's accidental cyberattack against Hugging Face is science fiction that happened (2026년 7월 22일)
• LinkedIn의 Pete Shoard(Gartner): 완전 자율 SOC가 현실적이지 않은 이유
• Paul Slovic: Wikipedia
• Daniel Kahneman: Wikipedia, "생각에 관한 생각"
• glueckkanja: Cloud Security Operations Center (CSOC)
• glueckkanja: Managed Red Tenant