코인베이스, AI 모델 업그레이드에도 사기 탐지율↓
CryptoSlate2026년 10월 11일 03:000
미국 최대 암호화폐 거래소 코인베이스가 최근 공개한 내부 보고서에 따르면, 최신 인공지능(AI) 모델로 업그레이드했음에도 불구하고 결제 사기 탐지율과 사기 금액 탐지율이 오히려 하락한 것으로 나타났다. 이는 AI 모델의 성능 향상이 항상 실질적인 보안 강화로 이어지지 않을 수 있음을 시사하는 결과다.
코인베이스는 자체 온램프(Onramp) 서비스의 결제 스크리닝 시스템에 대한 역사적 데이터를 재분석하는 '히스토리컬 리플레이(historical replay)' 테스트를 진행했다. 이 테스트는 의사결정 정책을 고정한 상태에서 AI 모델의 성능 변화만을 측정하기 위해 설계되었다. 테스트에는 16,140건의 거래와 7,293명의 사용자가 포함되었으며, 이 중 813건은 실제 사기 거래로 확인된 경우였다. 이 데이터셋은 위험 관리 시스템이 도입되기 이전 9주간의 데이터를 포괄하며, 발생한 모든 사기 사례를 포함하고 정상적인 거래는 샘플링 방식으로 채택했다.
이번 테스트에서는 세 가지 주요 AI 모델 계열의 최신 버전들이 이전 버전들과 비교되었다. 구체적으로는 Opus 4.5 대비 Opus 5, Sonnet 4.6 대비 Sonnet 5, 그리고 GPT-5.4 대비 GPT-5.6(sol)이 비교 대상이었다. 모든 신규 모델들은 이전 모델들에 비해 △리콜(recall) △F1 스코어(정밀도와 재현율의 조화 평균) △달러 가중치 리콜(dollar-weighted recall)에서 낮은 수치를 기록했다. 리콜은 모델이 탐지한 전체 사기 사례의 비율을 의미하며, 달러 가중치 리콜은 탐지된 사기 거래의 총 금액 비중을 나타낸다.
이 중 Sonnet 모델의 경우, 리콜이 22.2%p 하락했으며 달러 가중치 리콜 또한 22.9%p 감소했다. Opus 모델 역시 리콜이 0.8%p 감소하는 결과를 보였다. 더욱이 두 신규 모델 모두 정밀도(precision)가 하락했는데, 이는 해당 모델이 사기로 분류한 거래 중 실제 사기인 비율이 낮아졌음을 의미한다. 즉, 탐지 정확도는 떨어지면서 실제 사기를 놓치는 비율은 늘어난 것이다.
GPT 모델의 결과는 하나의 개선된 지표가 전체적인 성능 저하를 가릴 수 있음을 명확히 보여준다. GPT-5.6은 이전 모델 대비 정밀도가 11.5%p 상승했지만, 리콜은 20.7%p, 달러 가중치 리콜은 21.8%p 하락했다. 이는 GPT 모델이 탐지한 사기 플래그(flag)의 정확도는 높아졌으나, 더 많은 사기 사례와 금액이 탐지를 피해갔다는 것을 의미한다. 이러한 결과는 AI 모델 업그레이드가 반드시 보안 시스템의 전반적인 효율성 증대로 이어지지 않는다는 점을 보여준다.
코인베이스 측은 이번 히스토리컬 리플레이 테스트 결과가 해당 버전의 모델을 실제 배포했을 때 발생하는 고객 손실을 직접적으로 입증하는 것은 아니라고 강조했다. 또한, 성능 저하의 명확한 원인을 특정하지는 않았지만, 이러한 회귀(regression) 현상을 인지했다고 밝혔다. 앞서 코인베이스는 독립적인 온라인 실험을 통해 기존 모델 및 규칙에 선택적인 대규모 언어 모델(LLM) 검토를 추가했을 때 30%의 사기 거래 감소와 22%의 사기 금액 감소 효과를 확인한 바 있다. 그러나 이 실험은 신규 모델 버전 간의 성능 비교가 아니었다.
이번 연구를 수행한 SR-Fraud 연구진은 자체적으로 사용하는 데이터셋이 독점적이어서 독립적인 복제 및 일반화에 제한이 있다고 언급했다. 이들의 관련 결제 사기 연구는 지난 9월 23일에 처음 공개되었고 9월 30일에 수정된 후 10월에 블로그 게시물로 발표되었다.
별도의 커스텀 모델 테스트에서는 긍정적인 결과가 있었다. 코인베이스는 10월 8일 공시를 통해 자체 학습된 Qwen3.5- 모델에서 향상된 성능을 보였다고 밝혔다. 그러나 이 테스트 결과는 고객 손실과 직접적인 연관성을 측정하지는 않았다. 또한, 현재 사용 중인 실제 서비스 환경에서의 성능을 반영하는 '프로덕션-래이턴시(production-latency)' 테스트에서도 일부 모델은 성능 향상을 보였으나, 이 역시 고객 손실 규모를 측정하지는 못했다.
AI 모델의 발전은 금융 거래 보안에 있어 중요한 역할을 하지만, 코인베이스의 사례는 단순히 최신 기술을 도입하는 것만으로는 충분하지 않음을 시사한다. 실제 현장에서의 효과적인 사기 탐지를 위해서는 모델 성능의 다각적인 평가와 함께, 실제 금융 피해로 이어질 수 있는 요소들에 대한 면밀한 검토가 필수적이다. 특히, 특정 지표의 개선이 전체적인 보안 강화를 의미하는 것은 아니라는 점을 명심해야 한다.