레딧, AI 스크래핑 차단 위해 RSS·API 접근 통제 강화
Decrypt2026년 10월 2일 05:3146
소셜 뉴스 웹사이트 레딧(Reddit)이 인공지능(AI) 데이터 스크래핑을 막고 자체 플랫폼 강화에 나서면서 오랜 기간 사용자들에게 제공해왔던 RSS 피드와 공개 API 접근을 대폭 축소하기로 결정했다. 이번 결정은 레딧이 보유한 방대한 사용자 생성 콘텐츠를 AI 학습 데이터로 활용하려는 빅테크 기업들과의 제휴를 강화하는 동시에, 외부 데이터 접근을 통제하여 수익 창출을 극대화하려는 전략의 일환으로 풀이된다. 레딧은 내년 2026년 11월 13일부터 RSS 피드 지원을 중단하며, 커뮤니티 관리자가 아닌 일반 사용자가 RSS를 통해 데이터를 수집하는 것에 대한 대체 수단은 제공하지 않을 것이라고 밝혔다. 또한, 공개 API에 대한 신규 요청은 2026년 10월 31일까지 중단되며, 기존의 모든 공개 접근은 2027년 3월에 완전히 종료될 예정이다. 레딧은 개발자들이 자체 개발 플랫폼인 '데브빗(Devvit)'으로 이전하도록 유도하고 있으며, 이를 위한 100만 달러 규모의 앱 마이그레이션 프로그램도 운영한다. 이 프로그램에는 지원 자격이 되는 앱에 대한 1,000달러의 이전 지원금과 무료 호스팅이 포함된다. 신청 마감일은 2026년 11월 30일이다.
레딧 측은 이러한 접근 통제의 주된 이유로 '스크래핑(scraping)'과 '자동화된 악용(automated abuse)'을 지목했다. 스크래핑은 봇(bot)을 이용하여 대량의 콘텐츠를 자동으로 복사하는 행위를 의미하며, 이는 레딧의 콘텐츠를 무단으로 가져가 AI 학습 등에 활용하는 것을 포함한다. 레딧은 이미 구글(Google) 및 오픈AI(OpenAI)와 AI 데이터 라이선스 계약을 체결하여 자사 콘텐츠를 AI 모델 학습에 제공하고 있으며, 애스클립틱(Anthropic) 및 퍼플렉시티(Perplexity)와 같은 AI 스타트업을 상대로는 데이터 스크래핑 관련 소송을 진행하는 등 법적 대응도 병행하고 있다. 이는 레딧이 보유한 사용자들의 실시간 대화, 질문, 답변 등의 방대한 데이터를 단순한 커뮤니티 소통을 넘어 고부가가치 자산으로 인식하고 있음을 보여준다. 예를 들어, 어떤 스마트폰을 구매해야 하는지에 대한 추천, 누수되는 파이프를 수리하는 방법, 의사 방문이 필요한 증상인지 등에 대한 수많은 정보들이 레딧에는 축적되어 있다.
이러한 레딧의 변화는 2023년 API 접근 유료화 논란 이후 더욱 가속화되는 모습이다. 당시 레딧이 API 접근에 대한 요금을 부과하겠다고 발표하자 수천 개의 서브레딧(subreddit, 소규모 커뮤니티)이 시위에 동참하며 비공개로 전환하는 등 거센 반발에 직면한 바 있다. 결국 레딧은 API 접근 요금 정책을 일부 수정했지만, 외부 개발자들이 레딧 데이터에 접근하는 방식에 대한 통제권을 강화하려는 움직임은 지속되었다. 2024년 초, 레딧은 구글과의 연간 약 6천만 달러 규모의 라이선스 계약을 통해 구글이 레딧 게시물을 AI 모델 학습에 사용하도록 허용했다. 이는 AI 챗봇이 인간처럼 글을 쓰고 질문에 답하는 능력을 배우도록 텍스트 데이터를 공급하는 방식이다. 오픈AI와의 계약 또한 유사한 맥락으로 해석된다.
레딧의 이번 결정은 기술 발전의 최전선에 있는 AI 기업들에게는 큰 타격이 될 수 있다. 이들 기업은 방대한 양의 데이터를 확보하여 AI 모델의 성능을 빠르게 향상시키려 하지만, 레딧과 같은 주요 데이터 제공처가 문턱을 높이면 데이터 확보에 어려움을 겪을 수밖에 없다. 특히, 레딧은 특정 주제에 대한 심도 깊은 토론과 실질적인 정보 공유가 이루어지는 곳으로, AI 모델이 인간과 유사한 맥락 이해 및 추론 능력을 갖추기 위한 중요한 학습 데이터베이스 역할을 해왔다. API 접근 제한은 이러한 외부 AI 개발 생태계의 성장에 제동을 걸 수 있다는 분석이다.
한편, 레딧은 개발자들이 자체 개발한 '데브빗' 플랫폼을 통해 레딧과 통합된 애플리케이션을 구축하도록 장려하고 있다. '데브빗'은 레딧의 API를 기반으로 하며, 개발자들이 레딧 커뮤니티와 상호작용하는 도구를 쉽게 만들 수 있도록 지원한다. 또한, 레딧은 14,000개 이상의 앱과 봇이 이미 '데브빗'으로 이전했거나 이전 중이라고 밝혔다. 델타봇(DeltaBot), 매직아이봇(MagicEyeBot), 리마인드미봇(RemindMeBot)과 같은 인기 있는 봇들도 성공적으로 이전 절차를 완료했거나 거의 마무리 단계에 있다고 전했다. 커뮤니티 관리자들의 경우, RSS를 통해 알림을 받아왔다면 '데브빗' 기반의 '디스코드 릴레이(Discord Relay)'와 같은 앱을 대안으로 사용할 수 있다. 그러나 자신이 관리하지 않는 커뮤니티 외부에서 RSS를 사용했던 사용자들에게는 '대체 수단이 없다'고 레딧은 명확히 밝혔다.
오래된 버전의 웹사이트인 '오래된 레딧(Old Reddit)'의 접근성도 축소될 예정이다. 향후 몇 달 안에 '오래된 레딧'은 최근 6개월 이내에 접속한 로그인 사용자에게만 제한적으로 제공될 것이며, 커뮤니티 관리자는 계속해서 접근할 수 있도록 유지된다. 이는 레딧이 사용자 경험을 현대화하고, AI 스크래핑으로부터 데이터를 보호하며, 궁극적으로는 사용자 데이터를 활용한 수익 모델을 강화하겠다는 의지를 보여주는 것으로 해석된다.
결론적으로, 레딧의 이번 RSS 및 API 접근 제한 조치는 AI 시대에 데이터의 가치와 통제권을 둘러싼 플랫폼 기업들의 치열한 경쟁을 여실히 보여주는 사례다. 레딧은 자체 플랫폼의 경쟁력을 강화하고 데이터 독점을 통해 AI 기업들과의 협상력을 높이려는 전략을 구사하고 있으며, 이러한 변화는 앞으로 유사한 플랫폼들에도 영향을 미칠 가능성이 있다. 사용자들은 익숙했던 데이터 접근 방식의 변화에 적응해야 하며, AI 기업들은 레딧 외 새로운 데이터 확보 채널을 모색하거나 레딧의 새로운 개발 플랫폼에 맞춰 서비스 개발 방향을 재설정해야 할 것으로 보인다.