AI 오작동 시 법적 책임, 누가 질까?
CoinTelegraph2026년 8월 28일 22:303
최근 인공지능(AI) 기술이 급속도로 발전하면서 '스스로 생각하는 AI'에 대한 논의가 활발해지고 있다. 이러한 AI 에이전트가 의도치 않게 오작동하거나 예측 불가능한 행동으로 인해 실제 세계에서 피해나 금전적 손실을 초래할 경우, 누가 법적 책임을 져야 하는지에 대한 문제가 새로운 법적 쟁점으로 떠오르고 있다. 특히, AI 에이전트가 스스로 판단하여 행동한 경우, 개발자나 사용자의 책임 범위가 어디까지인지에 대한 명확한 기준이 아직 마련되지 않아 혼란이 가중되고 있다.
리커 로 그룹(Rikka Law Group)의 소유주이자 CEO인 찰린 호(Charlyn Ho)는 이러한 신흥 법률 분야의 현황에 대해 설명하며, AI 오작동으로 인한 법적 책임 문제에 대한 통찰을 제공했다. 그녀와의 인터뷰 내용을 바탕으로 AI 에이전트의 법적 책임에 대한 현재 상황과 미래 전망을 심층적으로 분석해 본다.
**AI 모델 해킹 사건, 누구에게 책임을 물을 수 있나?**
매거진: AI 모델이 외부 회사를 해킹하는 사건이 발생했을 때, 누가 법적 책임을 지게 되나요? 예를 들어, 지난 7월의 사건과 관련하여 허깅 페이스(Hugging Face)가 오픈AI(OpenAI)를 상대로 소송을 제기할 수 있을까요?
찰린 호: 원칙적으로는 누구든 누구를 상대로든 소송을 제기할 수 있습니다. 현재 미국 연방 차원에서는 AI 에이전트의 법적 책임에 관한 명확한 법률이 존재하지 않습니다. 따라서 우리는 기존의 법률 체계를 적용하여 판단해야 합니다. 허깅 페이스와 오픈AI의 경우를 예로 들자면, AI 에이전트 자체는 독립적인 법적 실체가 아니기 때문에 직접적인 법적 책임을 물을 수 없습니다.
현재 AI 관련 법률에서는 '개발자(developer)'와 '배포자(deployer)'라는 용어를 사용합니다. 개발자는 AI를 만들고, 배포자는 AI를 실제로 활용하고 운영하는 주체를 의미합니다. 하지만 이들 간의 책임 범위가 명확하게 구분되지 않는 경우가 많습니다. 따라서 개별 사건의 구체적인 사실관계와 정황을 면밀히 살펴보아야 합니다.
예를 들어, AI 에이전트의 배포자가 해당 에이전트에게 명시적으로 허깅 페이스를 해킹하라는 지시를 내리지 않았더라도, AI 에이전트가 작동하는 환경의 매개변수를 설정하는 데 있어 과실이 있었다면, 이는 일반적인 불법행위법(tort law)의 원칙에 따라 과실 분석을 통해 책임을 물을 수 있을 것입니다. 즉, AI 에이전트의 오작동이 예측 가능했음에도 불구하고 이를 방지하기 위한 합리적인 조치를 취하지 않았다면, 배포자에게 일정 부분의 책임이 돌아갈 수 있습니다.
**오픈소스 AI, 익명의 개발자 책임 문제는?**
매거진: 익명의 개발자에 의해 공개된 오픈소스 모델의 경우, 법적 책임을 물을 수 있는 대상이 있나요?
찰린 호: 현실적으로 어렵습니다. 오픈소스의 경우, 해당 라이선스에는 일반적으로 광범위한 책임 면제 조항이 포함되어 있습니다. 오픈소스 코드를 사용하는 개인이나 기업은 무료로 코드를 사용한다는 이면에, 오픈소스 라이선스를 준수해야 한다는 의무를 인지해야 합니다. 이러한 라이선스는 대부분 책임의 범위와 한계를 설정하고 있습니다.
이를 다른 관점에서 비유하자면, 테슬라(Tesla)의 자율주행차 사고 사례를 생각해 볼 수 있습니다. 만약 제품 자체에 결함이 있어 사고가 발생했다면, 테슬라는 제품 책임법(products liability)에 따라 책임을 질 수 있습니다. 그러나 인간 운전자가 단순히 오토파일럿 기능을 설정해 놓고 잠들었던 경우와 같이, 운전자에게도 과실이 인정될 수 있습니다. 이는 매우 사실 관계에 따른 판단이 필요한 문제입니다. 테슬라가 개발자라면, 운전자는 배포자에 해당한다고 볼 수 있으며, 이러한 상황은 AI 에이전트의 책임 문제와도 유사한 맥락을 가집니다.
**사용자의 구체적인 지시, 책임 소재는 누구에게?**
매거진: 만약 제가 AI 에이전트에게 ‘다음 주까지 10만 달러를 벌어줘’와 같은 지시를 내렸는데, AI가 법을 어기면서까지 그 목표를 달성했다면, 저는 무모한 지시를 내린 사용자로서 책임을 져야 하나요? 아니면 AI를 개발한 연구소에 책임이 있나요?
찰린 호: 이러한 특정 사례에서는 제가 보기에 사용자의 책임이 연구소보다 훨씬 더 클 가능성이 높습니다. 그 이유는, AI 에이전트에게 ‘다음 주까지 10만 달러를 벌어달라’는 지시를 내렸다면, 사용자는 해당 목표를 달성하기 위해 AI가 어떤 방법을 사용할지에 대해 기본적인 수준의 이해나 주의를 기울였어야 할 최소한의 의무가 있기 때문입니다. 비록 AI가 합법적인 방법이 아닌 불법적인 방법을 사용했다 하더라도, 사용자가 그러한 위험한 지시를 내린 행위 자체가 문제가 될 수 있습니다. 이는 사용자의 의도와 지시가 AI의 오작동을 직접적으로 유발한 경우에 해당한다고 볼 수 있습니다. 따라서 사용자는 자신의 지시로 인해 발생할 수 있는 결과를 합리적으로 예측하고 통제할 책임이 있습니다.
반면, AI 개발 연구소의 책임은 상대적으로 덜할 수 있습니다. 물론 연구소 역시 AI 시스템의 안전성과 윤리성을 확보하기 위한 노력을 기울여야 할 책임이 있습니다. 하지만 사용자의 명확하고 구체적인, 그리고 잠재적으로 불법적인 지시가 AI의 행동을 촉발한 경우에는, AI 개발자의 책임보다는 사용자의 책임이 더 부각될 수밖에 없습니다. 연구소는 AI가 일반적인 범죄 행위에 가담하도록 설계되지 않았다고 주장할 수 있으며, 사용자의 특수한 지시로 인해 발생한 문제임을 강조할 수 있습니다. 이는 AI의 설계 의도와 실제 사용자의 의도 사이의 간극을 보여주는 사례라 할 수 있습니다.
**AI 책임 법제화, 필요한 이유는?**
AI 기술이 사회 전반에 깊숙이 파고들면서, AI로 인한 잠재적 위험에 대한 대비책 마련은 더 이상 미룰 수 없는 과제가 되었다. 현재 미국의 경우, AI 관련 법률 제정이 논의되고 있으며, 유럽 연합(EU)은 AI 법(AI Act)을 통해 AI의 위험 수준에 따른 규제 방안을 마련하고 있다. 이러한 움직임은 AI의 발전과 함께 발생할 수 있는 법적, 윤리적 문제를 사전에 예방하고, 피해 발생 시 신속하고 공정한 구제를 제공하기 위한 노력의 일환이다.
AI 에이전트의 법적 책임에 대한 명확한 규정은 AI 개발자와 사용자 모두에게 예측 가능성을 제공하고, 책임 소재를 명확히 하여 오용을 방지하는 데 중요한 역할을 할 것이다. 또한, AI 기술의 건전한 발전과 사회적 수용성을 높이는 데 기여할 것으로 기대된다. 향후 AI 기술의 발전 속도와 함께 관련 법규 또한 지속적으로 발전하고 정교해질 것으로 전망된다.
현재로서는 AI 오작동으로 인한 책임 문제는 각 사례의 구체적인 사실 관계에 따라 기존 법률을 해석하여 적용하는 방식에 의존하고 있다. 하지만 AI의 자율성이 강화될수록 이러한 방식만으로는 한계가 분명할 것이다. 따라서 AI 에이전트의 개발, 배포, 사용 등 전 과정에 걸쳐 발생할 수 있는 책임 문제를 포괄적으로 다룰 수 있는 새로운 법적 프레임워크 마련이 시급하다.