AI 생성물 '숨겨진 워터마크' 삽입…오픈소스 커뮤니티, 즉각 무력화 시도

인공지능(AI) 챗봇 클로드(Claude)의 개발사 앤트로픽(Anthropic)이 AI 생성 콘텐츠의 출처를 추적하기 위한 '보이지 않는 워터마크'를 삽입하는 기술을 도입했으나, 오픈소스 개발자들이 이를 무력화하려는 움직임을 빠르게 시작하며 기술적인 공방이 예고되고 있다.
지난 8월 2일부터 유럽연합(EU)에서 출시된 클로드의 최신 모델들은 생성하는 모든 텍스트에 기계가 읽을 수 있는 워터마크를 모델 수준에서 내재화시킨다. 이 워터마크는 클로드 챗봇, API, 클로드 코드, 그리고 AWS, 구글 클라우드, 마이크로소프트 파운드리와 같은 클라우드 파트너를 포함한 모든 클로드 서비스 전반에 걸쳐 적용된다. 앤트로픽은 이 워터마크가 사용자가 눈치챌 수 없을 뿐만 아니라, 텍스트의 의미, 품질, 가독성에 영향을 미치지 않는다고 강조했다.
이번 조치는 앤트로픽이 EU의 AI 법(AI Act)에 따른 투명성 관련 규정 준수 서약을 이행하는 과정에서 이루어졌다. 즉, 자발적인 결정이라기보다는 규제 준수를 위한 의무적인 조치로 해석된다. 앤트로픽의 지원 문서에 따르면, 이 워터마크는 텍스트 자체에 직접 짜여져 복사 및 붙여넣기를 하더라도 원본 텍스트와 함께 이동하며, 일부 편집 과정에서도 유지될 수 있다. 텍스트 파일의 경우, C2PA(Coalition for Content Provenance and Authenticity) 개방형 표준에 따른 서명된 메타데이터가 추가로 적용되어 파일의 생성 주체와 수정 여부를 기록하는 디지털 운송장 역할을 한다.
앤트로픽은 워터마크 생성 방식에 대한 구체적인 내용은 공개하지 않았다. 지원 문서에서는 모델 수준에서(모델 훈련 시 내재화) 그리고 텍스트 자체에 내재된(외부 도구가 아닌) 방식이라고 설명했지만, 탐지기(detector) 및 정확한 기술은 아직 공개되지 않았다. 연구자들은 이 워터마크가 통계적 서명(statistical signature) 방식일 것으로 추측하고 있다. 이는 마치 구글의 SynthID Text와 유사하게, 모델이 단어 선택 시 감지 가능한 미묘한 편향을 주입하는 방식이다. 하지만 이는 앤트로픽이 탐지기를 공개하기 전까지는 추측에 불과하다.
이러한 규제 강화 움직임에도 불구하고, 사생활 보호 활동가들과 일부 전문가들은 앤트로픽의 비밀 워터마킹 기술을 무력화하려는 방법을 이미 모색하기 시작했다. 깃허브(GitHub)에는 'mikiane/claude-watermark-cleaner'와 같이 106개의 별을 받은 프로젝트가 등장했다. 이 프로젝트는 보이지 않는 유니코드 문자를 제거하고, 텍스트를 다른 모델로 다시 작성하여 클로드 모델의 고유한 토큰 패턴을 교란시키는 방식을 사용한다. 이는 텍스트에 내재된 워터마크를 지우는 데 초점을 맞춘다.
더욱 규모가 큰 프로젝트로는 'guillaumemeyer/watermarks-remover'가 있으며, 이 프로젝트는 4.6천 개의 별을 받았다. 이 도구는 클로드 텍스트 마크뿐만 아니라 C2PA 및 SynthID 등급의 신호까지 PNG, JPEG, SVG, PDF, DOCX 등 다양한 파일 형식에서 제거한다. 프로젝트 개발자들은 통계적 텍스트 마크가 '출처를 증명하는 신뢰할 수 있는 방법이 아니며', 오히려 사용자들에게 자신의 글을 정리하기 위해 추가적인 모델 작업을 하도록 유도할 뿐이라고 주장한다. 결국 앤트로픽이 탐지기와 임계값(thresholds)을 공개하기 전까지는 어떤 제거 방법도 완벽한 효과를 보장할 수 없다.
이번 앤트로픽의 워터마크 기술 도입은 AI 생성 콘텐츠의 진위 여부를 판별하고, 딥페이크나 허위 정보 확산을 방지하려는 시도의 일환으로 볼 수 있다. 특히 EU의 AI 법과 같은 규제가 강화되는 추세 속에서, AI 개발사들은 기술적인 솔루션을 통해 책임성을 강화하려는 노력을 기울이고 있다. 하지만 오픈소스 커뮤니티의 발 빠른 대응은 AI 기술의 발전과 규제 간의 끊임없는 '창과 방패'의 싸움을 보여주는 단적인 예시라 할 수 있다. 앞으로 앤트로픽이 어떤 방식으로 워터마크의 보안성을 강화하고, 오픈소스 커뮤니티의 도전에 대응할지 귀추가 주목된다. 또한, 이러한 기술 발전이 AI 콘텐츠의 창작과 유통에 어떤 영향을 미칠지도 중요한 관전 포인트가 될 것이다. AI 생성물에 대한 신뢰 구축과 책임 소재 규명은 앞으로도 AI 생태계에서 가장 중요한 과제 중 하나로 남을 것으로 보인다.