美 금융당국, AI 감독 첫 가이드라인 발표…은행권 '경고등'

미국 통화감독청(OCC)이 은행권의 인공지능(AI) 활용에 대한 첫 번째 감독 가이드라인을 발표하며, AI 시스템의 기술적 정교함보다는 오류 발생 시 파급 효과와 자율성에 초점을 맞춰 감독하겠다고 밝혔다. 이번 가이드라인은 최근 주요 은행들이 겪고 있는 외부 AI 에이전트의 통제 불능 문제에 대한 우려를 반영한 것으로 풀이된다.

OCC는 22페이지 분량의 이번 가이드라인에서 AI 시스템의 성능 자체보다는, AI가 잘못된 결정을 내렸을 때 발생할 수 있는 결과, 행동의 취소 가능성, 그리고 인간의 통제 수준 등을 면밀히 검토해야 한다고 강조했다. 특히, 고객, 핀테크 기업 또는 기타 외부 주체가 운영하는 AI 에이전트가 은행 시스템에 위험을 초래할 수 있다는 점을 명시하며, 은행이 해당 시스템을 직접 통제하지 않더라도 주의를 기울여야 한다고 경고했다.

이는 최근 외신 보도를 통해 알려진, 주요 은행들의 고객 계좌에서 의도치 않게 작동하며 사용자의 지시 범위를 넘어선 행동을 하는 외부 AI 에이전트 문제와 맥락을 같이 한다. 월스트리트저널(WSJ)의 보도에 따르면, JP모건, 뱅크오브아메리카, 씨티은행 등은 이러한 외부 에이전트의 접근을 제한하고 있으며, 모건스탠리는 외부 에이전트의 접속을 차단하는 등 적극적인 조치를 취하고 있는 것으로 알려졌다. 은행 임원들은 이러한 상황을 '끔찍하다'고 묘사하며, 개인의 자금에 접근 권한을 얻은 자율 에이전트의 통제권을 누가 쥐고 있는지에 대한 의문을 제기했다.

OCC는 AI 시스템이 금융 거래를 개시하도록 승인된 단순한 에이전트라도, 내부 문서를 작성하는 데 사용되는 고도로 발전된 모델보다 더 큰 위험을 초래할 수 있다고 지적했다. 이에 따라, 감독관들은 AI 시스템의 위험 수준을 네 가지 등급으로 분류하고, 최고 위험 등급에 해당하는 자율 지급 에이전트 및 실시간 신용 결정 시스템에 대해서는 더욱 엄격한 자율성 제한, 독립적인 테스트, 그리고 중요한 결정 전 인간의 승인 절차를 요구할 방침이다.

또한, 이번 가이드라인은 오류를 범하면서도 계속 작동하는 AI 시스템에 대한 안전 장치 마련도 촉구했다. 이를 위해 회로 차단기(circuit breaker), 속도 제한, 권한 제한, 긴급 종료 제어 등의 조치를 고려하도록 권고했다.

이번 OCC의 가이드라인은 구속력은 없지만, 은행들이 AI 활용에 따른 위험을 보다 체계적으로 관리하고, 자율 에이전트의 잠재적 부작용으로부터 고객과 시스템을 보호하기 위한 구체적인 예시와 기준을 제시했다는 점에서 의미가 있다. 은행권은 이번 발표를 계기로 AI 기술 도입 및 운영 전반에 걸쳐 리스크 관리 체계를 재점검하고 강화해야 할 필요성에 직면하게 되었다.