AI 생성 패턴, 감시 카메라 무력화…프라이버시 보호 기술 주목

미국 전역에 도입되고 있는 논란의 감시 시스템인 플록(Flock) 카메라를 비롯한 여러 첨단 영상 감지 소프트웨어를 무력화할 수 있는 'AI 생성 패턴'이 개발되어 화제다.

빌 스웨어링겐(Bill Swearingen)이 개발한 '노인식(noRecognition)' 프로젝트는 카메라 소프트웨어가 대상의 분류를 막는 패턴을 생성한다. 이 패턴은 사람, 얼굴, 차량 등을 식별하는 AI 알고리즘을 교란시켜, 촬영 대상이 무엇인지 인식하지 못하도록 만든다. 스웨어링겐이 테스트한 11개의 오픈소스 탐지 알고리즘 모두 이 패턴에 속수무책이었다. 여기에는 플록 번호판 인식 카메라, 액손(Axon) 바디캠, 클리어뷰 AI(Clearview AI) 등 널리 사용되는 시스템들이 포함된다.

스웨어링겐은 지난 1년간 캔자스시티 자택에서 끊임없는 실험을 반복했다. 약 3,100만 번의 테스트 끝에 그는 원하는 대상을 감시 카메라 시스템이 인식하지 못하게 하는 패턴을 즉석에서 생성할 수 있다고 밝혔다. 이 기술은 지난 금요일 라스베이거스에서 열린 세계 최대 해킹 대회인 데프콘(Def Con)에서 처음으로 대중에게 공개되었다. 유튜버 채널 '도넛 미디어(Donut Media)'와 협력하여 2009년형 토요타 야리스 차량에 이 패턴을 랩핑한 후 플록 카메라 앞에서 시연을 진행했다.

"우리는 이 기술이 효과적임을 증명했습니다." 스웨어링겐은 기술 시연 성공을 확신하며, 다만 차량 바퀴 부분의 패턴 적용에 다소 어려움이 있었다고 덧붙였다. 도넛 미디어는 이 시연 영상이 몇 주 안에 공개될 것이라고 전했다.

이 패턴은 카메라의 시야를 가리는 것이 아니다. 영상은 정상적으로 녹화되며, 사람이 직접 화면을 볼 경우 차량을 그대로 인지할 수 있다. 그러나 문제가 되는 것은 객체 감지 모델이 "이것은 차량이다", "이것은 번호판이다", "기록하라"고 판단하는 인공지능의 최상위 계층이다. 즉, AI 탐지기에게 자체 수학 모델에 대항하도록 설계된 충분한 시각적 노이즈를 주입하면, AI는 아무것도 기록하지 않게 된다. 차량은 마치 건초 더미 속의 바늘처럼 흔적도 없이 사라지는 것이다.

이러한 기술은 '적대적 머신러닝(adversarial machine learning)'으로 불린다. 컴퓨터 비전이 인간과 다르게 사물을 인식한다는 점을 이용한다. 사람에게는 요란한 그래픽 디자인으로 보이는 차량 랩핑이, 분류기(classifier)에게는 전혀 아무것도 아닌 것으로 인식될 수 있다. 스웨어링겐은 자신의 개발 과정을 '스스로 숙제를 채점하는 강화 학습 모델'에 비유했다. 패턴이 탐지되면, 모델이 조정되고 다시 시도하는 과정, 마치 모델에게 "그림 그리는 법"을 가르치는 것과 같다고 설명했다. 이제 이 모델은 1분마다 새로운 패턴을 쏟아내고 있으며, 그는 카메라 제조사들이 대응 훈련을 하지 못하도록 가장 강력한 패턴들은 오프라인 상태로 보관하고 있다.

"프라이버시는 기본적인 권리입니다." 스웨어링겐은 자신의 패턴이 사람들이 "추적당하는 것에서 벗어날 수 있는" 방법이라고 강조했다. 그는 작년 시위에 참여하고 싶었으나, 참석자 전원의 기록을 남길 카메라들이 걱정되었던 경험에서 이 아이디어를 얻었다고 밝혔다.

**기계로부터 숨는 기술의 긴 여정**

사람들은 오랫동안 탐지 시스템에 대항하기 위해 다양한 방법을 즉흥적으로 고안해왔다. 주로 일반 상점에서 구할 수 있는 재료를 활용하는 방식이었다. 샌프란시스코의 활동가들은 웨이모(Waymo)와 크루즈(Cruise)의 자율주행차 보닛 위에 교통 콘을 씌워 차량을 멈추게 하는 등, 별도의 코딩 없이도 작동하는 해킹 기술을 선보였다. 작년 로스앤젤레스 이민 단속 당시, 시위대는 더 나아가 여러 대의 웨이모 차량에 불을 지르기도 했다. 마스크, 후드, 챙 달린 모자는 시위 현장에서 여전히 기본적인 저항 수단으로 사용된다. 얼굴을 혼란스럽게 만드는 프린트 의류 라벨이 수년간 판매되어 왔으며, 인식 방지 안경도 출시되었지만 실제로 효과가 있다는 증거는 미미한 수준이다.

스웨어링겐의 접근 방식이 이와 다른 점은, 물리적인 방해나 위장 대신 AI의 근본적인 인식 메커니즘 자체를 겨냥한다는 점이다. 그는 단지 차량이나 사람을 가리는 것이 아니라, AI가 '무엇인지'를 판단하는 과정을 방해한다. 이는 단순한 회피를 넘어, AI 시스템의 감시 능력에 직접적으로 도전하는 새로운 차원의 보안 기술이라 할 수 있다.

플록과 같은 번호판 인식 카메라는 전 세계적으로 도로 안전 및 범죄 예방을 명목으로 도입되고 있지만, 동시에 개인 정보 침해 및 광범위한 감시에 대한 우려도 커지고 있다. 이번 AI 생성 패턴 기술은 이러한 감시 기술의 빈틈을 보여주며, 개인의 프라이버시를 지키기 위한 기술적 대응 가능성을 제시한다. 스웨어링겐은 자신의 기술이 "일종의 디지털 방어복"이라며, 앞으로도 지속적으로 새로운 패턴을 개발하여 AI 감시로부터 개인의 자유를 보호하는 데 기여할 것이라고 밝혔다. 그의 프로젝트는 기술 발전이 양날의 검이 될 수 있음을 시사하며, 감시와 프라이버시라는 첨예한 대립 속에서 기술적 해결책을 모색하는 데 중요한 단초를 제공한다.

플록 시스템은 이미 미국 내 수십 개 도시에서 운영 중이며, 범죄 용의자 추적 및 교통 위반 단속 등 다양한 목적으로 활용되고 있다. 그러나 최근에는 개인 정보 수집 및 오용 가능성에 대한 비판이 제기되면서, 일부 지역에서는 도입을 재검토하거나 철회하는 움직임도 나타나고 있다. 이러한 상황에서 스웨어링겐의 기술은 프라이버시 옹호론자들에게는 희망적인 소식으로, 감시 시스템 구축을 추진하는 당국에는 새로운 과제로 다가오고 있다.

이 기술의 광범위한 적용 가능성 또한 주목할 만하다. 단순히 차량 번호판 인식뿐만 아니라, 인파 속에서 특정 인물을 식별하거나, 불법적인 활동을 감시하는 등 다양한 AI 기반 감시 시스템에도 적용될 수 있을 것으로 보인다. 이는 앞으로 AI와 프라이버시의 싸움이 더욱 치열해질 것임을 예고한다. 스웨어링겐은 자신의 기술이 "AI 감시 사회에 대한 저항의 새로운 수단"이 될 수 있다고 믿으며, 앞으로 이 기술이 어떻게 발전하고 활용될지 귀추가 주목된다.