AI, 72시간 만에 오픈AI 시스템 침투… 보안 연구원들의 새로운 '무기'

인공지능(AI) 챗봇이 보안 연구원들의 오픈AI 시스템 침투 과정을 획기적으로 단축시키며 사이버 보안의 새로운 지평을 열고 있다. 최근 보안 스타트업 Hacktron 소속 연구원 3명은 앤트로픽(Anthropic)의 AI 모델 '클로드(Claude)'의 도움을 받아 72시간 이내에 오픈AI의 계정과 내부 코드 저장소에 접근하는 데 성공했다고 밝혔다. 이는 AI가 전통적인 보안 취약점 분석 및 악용 개발에 소요되는 시간을 수개월에서 수일로 압축시킬 수 있음을 보여주는 사례다.

이번 침투는 두 가지 주요 취약점을 연쇄적으로 이용하는 방식으로 이루어졌다. 첫 번째는 이미지 처리 과정에서의 취약점이었고, 두 번째는 오픈AI의 사용자 인증 시스템의 허점이었다. 연구원들은 이 두 가지 취약점을 결합하여 여러 직원의 ChatGPT 및 Codex 계정에 접근하는 데 성공했다. 특히, 탈취된 Codex 계정 중 하나가 오픈AI의 GitHub 조직과 연결되어 있었다는 점이 결정적인 역할을 했다. 이를 통해 연구원들은 오픈AI의 내부 소프트웨어 환경으로 침투할 수 있는 경로를 확보하게 된 것이다.

Hacktron 측은 자신들의 목표가 오픈AI의 기밀 소스 코드를 탈취하거나 시스템에 심각한 피해를 입히는 것이 아니었음을 강조했다. 그들은 단지 탈취된 직원의 Codex 계정을 이용해 오픈AI의 비공개 모노레포(monorepo) 내부에 무해한 풀 리퀘스트(pull request)를 생성하도록 지시하는 것으로 실험을 멈췄다. 이러한 접근 방식은 AI 기술을 활용한 보안 연구의 윤리적 측면을 고려한 것으로 풀이된다.

이번 보안 취약점 발견 및 침투 테스트는 지난 7월에 이루어졌으며, Hacktron은 이번 주에 관련 내용을 공개하고 추가적인 테스트를 중단했다. 오픈AI는 보고를 받은 지 약 14시간 만에 인증 시스템의 취약점을 수정한 것으로 알려졌으며, Hacktron 측에 6,500달러의 현상금(bounty)을 지급했다. 이는 오픈AI가 자사의 시스템 보안에 대한 빠른 대응 의지를 보여주는 것이며, 동시에 AI 시대의 새로운 보안 위협에 대한 경각심을 일깨우는 계기가 되었다.

이번 사건에서 클로드의 역할은 특히 주목할 만하다. 앤트로픽의 최신 AI 모델인 '클로드 오푸스 5(Opus 5)'는 이전 버전의 클로드 모델이 해결하지 못했던 취약점 악용의 난관을 돌파하는 데 결정적인 기여를 했다. Hacktron 연구원들은 지난 7월 23일부터 오픈AI의 커뮤니티 포럼인 디스커스(Discourse)에서 사용되는 이미지 업로드 파이프라인을 분석하기 시작했다. 이 과정에서 HEIC 및 HEIF 파일이 ImageMagick과 libheif 디코딩 라이브러리를 통해 처리된다는 점을 파악했고, 이를 통해 공격자가 제어하는 이미지가 취약한 코드로 침투할 수 있는 경로를 발견했다.

연구원들은 클로드 오푸스 4.8(Opus 4.8)에게 디스커스 도커(Docker) 이미지를 제공하고 설치된 libheif 패키지의 보안 취약점을 분석하도록 지시했다. 그 결과, 모델은 누락된 보안 패치를 식별해냈고, 이로 인해 힙 버퍼 오버플로우(heap buffer overflow) 취약점이 발생하여 범위를 벗어나는 읽기 및 쓰기가 가능해졌다. 7월 24일까지 오푸스 4.8은 주소 공간 배치 난수화(ASLR)가 비활성화된 상태에서는 코드 실행을 성공시켰으나, ASLR이 활성화된 디스커스의 일반적인 설정에서는 악용을 안정적으로 작동시키지 못했다.

하지만 7월 24일 앤트로픽이 오푸스 5를 출시하면서 상황이 반전되었다. 연구원들은 새로운 모델로 새로운 세션을 시작했고, 약 3시간 만에 ARM64 아키텍처에서 작동하는 악용 코드를 개발하는 데 성공했다. 이후 연구원들은 이 악용 코드를 디스커스에서 사용하는 x86-64 아키텍처와 jemalloc 메모리 구성에 맞게 수정하도록 모델에게 지시했다. 불과 몇 시간 후인 7월 25일 오전 6시경, 연구원들은 악성 이미지를 업로드하여 코드를 실행할 수 있는 작업 가능한 악용 코드를 완성했다.

이후 연구원들은 AI 모델이 인간의 개입을 최소화하면서 원격 환경을 대상으로도 유사한 공격을 재현할 수 있는지 테스트했다. 이를 위해 클로드를 Hacktron 자체의 디스커스 클라우드 인스턴스를 대상으로 자율적인 루프(autonomous loop) 방식으로 실행시켰다. 이는 AI가 단순히 취약점을 분석하고 코드를 생성하는 것을 넘어, 실제 공격 시나리오를 시뮬레이션하고 자체적으로 최적화하는 능력을 갖추고 있음을 시사한다.

이번 사건은 AI 기술이 사이버 보안 분야에 미치는 양날의 검과 같은 영향을 여실히 보여준다. 긍정적으로는 AI가 보안 연구원들에게 강력한 분석 및 개발 도구를 제공하여 방어 체계를 강화하는 데 기여할 수 있다. 그러나 동시에 악의적인 행위자들이 AI를 악용하여 더욱 정교하고 빠른 속도로 공격을 감행할 수 있다는 우려도 제기된다. 전문가들은 이러한 상황에 대비하여 AI 기반의 보안 위협 탐지 및 대응 시스템 개발, 그리고 AI 윤리 및 책임에 대한 국제적인 논의가 시급하다고 지적한다.

오픈AI와 같은 거대 기술 기업들은 물론, 모든 조직은 AI 기술의 발전 속도에 발맞춰 보안 전략을 재정비해야 할 필요성이 더욱 커졌다. AI가 개발자의 코딩 작업을 돕는 것처럼, AI가 해커의 공격 코딩을 돕는 시대가 도래했음을 시사하는 이번 사건은 미래 사이버 보안 환경에 대한 중요한 시사점을 던져준다.