AI 챗봇 위험 예측 공식 나왔다… 16개 중 15개 맞아
Decrypt2026년 10월 11일 00:010
인공지능(AI) 챗봇이 유해하거나 잘못된 정보를 생성하기 시작하는 시점을 예측하는 새로운 공식이 개발되어 AI 안전 연구에 중요한 진전을 이루었습니다. 조지 워싱턴 대학교의 물리학자 닐 존슨(Neil Johnson)과 프랭크 잉지 후오(Frank Yingjie Huo)가 개발한 이 공식은 AI 모델이 '나쁜' 답변을 내놓기 전까지 '좋은' 답변을 얼마나 많이 생성하는지를 추정합니다.
최근 '패턴스(Patterns)' 저널에 발표된 이 연구는 올해 2월 처음 공개된 사전 인쇄본(peer review 전 공개된 논문 초안)을 기반으로 합니다. 현재 AI 챗봇은 합리적인 대화를 오랫동안 이어가다가도 갑자기 자해에 대한 나쁜 조언이나 극단주의적인 발언과 같은 유해한 내용으로 전환될 수 있습니다. 하지만 이러한 전환 시점을 예측하는 간단한 방법은 없었습니다. 연구진은 기존의 안전 도구들이 종종 클라우드 연결에 의존하는데, 오프라인 모델의 경우 이러한 연결이 없다는 점을 지적합니다.
존슨과 후오 박사는 이 문제를 AI 모델의 '어텐션 헤드(attention head)'에서 찾았습니다. 어텐션 헤드는 AI 모델이 다음 단어를 선택할 때 대화에서 이전 단어 중 어떤 것이 가장 중요한지를 결정하는 부분입니다. 대화가 길어질수록 누적된 맥락은 어텐션 헤드를 특정 답변 그룹으로 이끌고, 결국 tipping point, 즉 전환점에 도달하게 됩니다.
이는 많은 '탈옥(jailbreaking)' 시도에서 악용되는 일반적인 패턴이며, 많은 회사가 AI 챗봇이 사용자 질문 전에 읽는 텍스트 조각인 '시스템 프롬프트'에 주의를 기울이는 이유 중 하나입니다. 그러나 모델을 효과적으로 약화시키는 데 어느 정도의 노력이 필요한지에 대해서는 정확히 알려진 바가 없습니다.
연구진이 개발한 공식은 'n'이라고 불리는 전환점을 추정하는데, 이는 AI 모델이 첫 번째 '나쁜' 토큰(모델이 한 번에 하나씩 생성하는 단어 조각)을 내놓기 전에 생성하는 '좋은' 토큰의 수를 의미합니다. 만약 대화가 이미 부정적인 방향으로 기울어져 있다면, 모델은 즉시 전환점에 도달하며 n 값은 0이 됩니다. 반대로 긍정적인 방향으로 기울어져 있다면, 모델은 한동안 괜찮은 답변을 제공하다가 전환점을 맞이하게 됩니다.
사전 인쇄본에서 이 공식은 16개의 명확한 테스트 사례 중 15개, 즉 94%의 정확도로 즉각적인 전환 또는 지연된 전환을 올바르게 예측했습니다. 연구진은 OpenAI, EleutherAI, Meta에서 개발한 6개의 오픈 웨이트(open-weight) 모델을 대상으로 이러한 테스트를 수행했습니다. 오픈 웨이트 모델은 파일이 공개되어 누구나 다운로드하여 실행할 수 있는 AI 시스템을 의미합니다.
테스트에 사용된 모델들은 모두 1억 2,400만 개에서 4억 1,000만 개의 매개변수(parameter, 모델 내부의 조정 가능한 숫자로서 모델의 크기를 대략적으로 측정하는 척도)를 가지고 있었습니다. 공개된 논문에서는 테스트 대상을 최대 120억 개의 매개변수를 가진 7개 모델로 확장했다고 보고되었는데, 이는 현재 기준으로도 비교적 작은 규모입니다.
이 연구의 궁극적인 목표는 인터넷 연결 없이 스마트폰이나 노트북과 같은 기기 자체에서 완전히 실행되는 '온디바이스 AI(on-device AI)'입니다. 여기에는 친구처럼 대화하는 동반자 챗봇도 포함됩니다. 실제로 Decrypt가 작년에 테스트한 Google의 실험적인 AI Edge Gallery 앱은 안드로이드 스마트폰에서 오프라인으로 모델을 실행할 수 있게 해주며, 이 앱에 입력된 내용은 Google 서버로 전송되지 않습니다. 이러한 방식은 앞으로 더욱 확대될 것으로 예상됩니다.
이번 연구 결과는 AI 챗봇의 잠재적 위험을 사전에 감지하고 통제할 수 있는 중요한 도구를 제공할 가능성을 보여줍니다. 특히 인터넷 연결이 불가능한 환경에서도 AI의 안전성을 확보하는 데 기여할 수 있을 것으로 기대됩니다. 향후 이 공식이 더 크고 복잡한 AI 모델에서도 동일한 정확도를 유지할 수 있는지, 그리고 실제 AI 시스템에 통합되어 어떻게 작동하는지에 대한 추가 연구가 필요할 것입니다.