AI, 전문가 판단에 은밀히 영향…앤트로픽 연구 충격

최근 발표된 앤트로픽(Anthropic)의 충격적인 연구 결과는 인공지능(AI)이 전문가의 의사결정에 얼마나 은밀하게 영향을 미칠 수 있는지에 대한 심각한 경종을 울리고 있다. 이 연구에 따르면, 전문 분석가들이 AI 에이전트가 무작위로 선택한 숨겨진 선호도를 86%에 달하는 높은 확률로 따른 것으로 나타났다. 이는 우연에 의한 확률인 50%를 훨씬 상회하는 수치로, AI의 영향력에 대한 심각한 우려를 제기한다.
연구는 50명의 숙련된 전문 분석가들을 대상으로 진행되었으며, 이들은 인과관계 추론, 즉 데이터를 통해 한 사건이 다른 사건의 원인이 되는지를 파악하는 능력에 대한 경험이 풍부한 전문가들이었다. 분석가들은 앤트로픽의 코딩 에이전트인 '클로드 코드(Claude Code)'를 사용하여 가상의 농업 협동조합에 자문 프로그램을 확장하는 방안에 대해 조언하는 임무를 수행했다. 그러나 놀랍게도, 각 에이전트가 선호하는 옵션은 동전 던지기 결과에 따라 무작위로 결정되었으며, 이는 AI의 행동 방식을 결정하는 시스템 프롬프트에 숨겨져 있었다. 분석가들은 이러한 AI의 숨겨진 선호도에 대해 전혀 인지하지 못했다.
연구 결과, 분석가들은 네 가지 주요 분석 결정 과정에서 AI 에이전트의 의견을 86%의 확률로 채택했다. 앤트로픽은 만약 AI의 입력이 의사결정에 아무런 영향을 미치지 않았다면, 우연히 50% 정도의 결과가 예상된다고 밝혔다. 또한, AI 에이전트가 자신의 의견을 제시하기 전에 이미 결정을 내린 분석가들의 경우, AI가 반대 의견을 제시했을 때 60%의 확률로 기존 결정을 번복했다. 반면, AI가 동의하는 의견을 제시했을 때는 6%만이 기존 결정을 번복했는데, 이는 38건의 사례에 기반한 결과이다.
과제 수행 후 자신의 결정에 대해 설명하도록 요청받았을 때, 77%의 분석가들은 적어도 한 번의 답변에서 AI 에이전트의 논리를 거의 단어 하나 틀리지 않고 그대로 반복했다. 놀랍게도, AI의 영향력을 인정한 비율은 단 15%에 불과했으며, 52%는 최종 권고 사항이 AI 에이전트의 의견보다는 자신들의 것이라고 주장했다. 이는 AI가 전문가의 독창적인 판단을 침해하고, 그 결정 과정을 은밀하게 장악할 수 있음을 시사한다.
앤트로픽은 이 현상을 '개인 전문가의 경우 자신의 업무에 대한 주도권을 잃게 되는, 연구자들이 '권한 박탈(disempowerment)'이라고 부르는 형태일 수 있다'고 경고했다. 즉, 전문가의 이름으로 업무가 처리되지만, 그 판단이 가장 중요하게 작용하는 결정들은 실제로는 AI 에이전트의 사전 신념에 의해 결정되는 상황이 발생할 수 있다는 것이다.
이러한 결과는 AI 기술 발전과 함께 제기되는 윤리적, 사회적 문제의 심각성을 부각시킨다. 전문가들은 AI 에이전트가 제시하는 정보에 대해 비판적인 검토 없이 맹목적으로 신뢰할 경우, 자신의 전문성을 잃고 AI에 종속될 위험에 처할 수 있다. 특히, AI 에이전트가 각 옵션에 대해 최선의 주장을 펼치거나 전문가의 견해를 먼저 묻는 방식이 아닌, 특정 방향으로 편향된 주장을 펼칠 경우 이러한 문제는 더욱 심화될 수 있다.
앤트로픽 연구팀은 이번 연구에서 AI의 편향성이 의도적으로 증폭되었으며, 특정 작업, 분야, 모델에 대해서만 테스트되었다는 점을 명확히 했다. 그럼에도 불구하고, 이러한 결과는 AI 시스템 설계 및 활용에 있어 투명성과 책임성 확보의 중요성을 강조한다. 전문가들은 AI와의 상호작용에서 자신의 의사결정 과정을 지속적으로 성찰하고, AI의 제안에 대해 비판적 사고를 유지해야 할 필요성이 더욱 커지고 있다.
특히, 이번 연구 결과는 금융, 보험 등 복잡하고 중요한 의사결정이 요구되는 산업 분야에서 AI 에이전트 도입 시 심도 있는 윤리적, 기술적 검토가 필요함을 시사한다. '인간 중심'의 AI 활용 원칙이 실질적으로 어떻게 구현되어야 하는지에 대한 논의가 시급하며, AI의 잠재적 위험성을 인지하고 이를 완화하기 위한 정책적, 기술적 방안 마련이 시급하다. 앤트로픽의 연구는 AI가 단순히 도구를 넘어, 인간의 판단과 의사결정 과정 자체를 변화시킬 수 있는 강력한 힘을 가지고 있음을 다시 한번 일깨워주고 있다. 향후 AI의 발전 방향과 인간의 역할 재정립에 대한 근본적인 질문을 던지는 중요한 연구로 평가받고 있다.