AI, 358년 묵은 난제 '페르마의 마지막 정리' 증명해냈다

인공지능(AI)이 358년 동안 수많은 수학자들을 괴롭혔던 난제 '페르마의 마지막 정리'를 증명하는 데 성공하며 역사적인 기록을 세웠다. 앤트로픽(Anthropic)은 자사의 AI 모델인 클로드(Claude)가 이 위대한 수학적 업적을 불과 11일 만에 달성했다고 발표했다. 이는 인간 수학자들이 수십 년간의 노력으로도 완성하지 못한 성과를 뛰어넘는 놀라운 결과다.

클로드가 생성한 증명은 무려 1,300만 줄에 달하는 코드로 구성되어 있으며, 이는 컴퓨터가 각 단계를 엄밀하게 검증할 수 있는 '정형화된 증명(formal proof)' 형태로 작성되었다. 정형화된 증명은 수학적 논리가 마치 컴퓨터 프로그램처럼 엄격한 규칙에 따라 작성되어 오류의 여지를 최소화하는 방식이다. 이는 사람이 작성한 증명을 사람이 검토하는 과정에서 발생할 수 있는 주관적인 판단이나 실수 가능성을 원천적으로 차단한다.

페르마의 마지막 정리는 1637년 프랑스의 수학자 피에르 드 페르마(Pierre de Fermat)가 노트 여백에 남긴 주장으로 시작되었다. 페르마는 '세 개의 양의 정수 a, b, c에 대해 n이 2보다 큰 정수일 때, aⁿ + bⁿ = cⁿ 을 만족하는 해는 존재하지 않는다'는 명제를 제시하며, '정말 놀라운 증명을 생각해냈지만, 여백이 부족해 적을 수 없다'는 말을 남겼다. 이 한마디는 358년이라는 긴 시간 동안 당대 최고의 수학자들이 도전하게 만드는 불씨가 되었다.

페르마의 사망 이후, 수학자들은 그의 '놀라운 증명'을 재현하기 위해 끊임없이 노력했다. 하지만 그 누구도 완벽한 증명을 완성하지 못했다. 1908년, 독일에서는 이 정리를 증명하는 사람에게 당시 기준으로 약 100만~200만 달러에 달하는 거액의 현상금을 걸었을 정도로, 이 문제는 수학계의 오랜 숙원 과제였다. 그러나 첫 해에만 621개의 잘못된 증명 제출이 쏟아질 정도로 그 난이도를 짐작게 했다.

이러한 노력 끝에 1995년, 영국의 수학자 앤드루 와일스(Andrew Wiles)가 마침내 페르마의 마지막 정리를 증명하는 데 성공했다. 그의 증명은 129페이지에 달했지만, 그 과정은 순탄치 않았다. 와일스는 1993년 처음 증명을 발표했으나, 동료 수학자의 검토 과정에서 일부 오류가 발견되었다. 그는 1년 가까이 전 제자와 함께 밤낮으로 매달린 끝에 오류를 수정하고 1995년에 최종 증명을 발표할 수 있었다. 와일스의 증명은 페르마 시대에는 존재하지 않았던 고도의 수학 이론들을 활용했기 때문에, 당시 수학계에서는 페르마가 실제로 완전한 증명을 가지고 있었는지에 대한 의구심이 제기되기도 했다.

현재 영국 임페리얼 칼리지 런던(Imperial College London)의 케빈 버자드(Kevin Buzzard) 교수는 2024년부터 클로드가 수행한 것과 동일한 목표, 즉 페르마의 마지막 정리를 정형화된 증명으로 만드는 프로젝트를 인간 주도로 진행하고 있다. 그러나 이 프로젝트는 아직 완성 단계에 이르지 못했으며, 수많은 수학자들의 헌신적인 노력에도 불구하고 상당한 시간이 더 소요될 것으로 예상된다. 클로드는 이러한 인간의 노력을 압도하며 11일 만에 이 역사적인 증명을 완성한 것이다.

버자드 교수는 클로드의 증명을 검토한 후, "수학의 가장 기본적인 논리 규칙만을 사용하여 증명이 타당함을 확인했다"고 밝혔다. 이는 AI가 단순히 기존의 증명을 짜깁기하거나 인간의 아이디어를 모방하는 수준을 넘어, 독립적으로 복잡하고 심오한 수학적 논리를 구축하고 검증할 수 있음을 시사한다.

이번 클로드의 성과는 AI가 인간의 지적 능력을 뛰어넘는 영역을 계속해서 확장하고 있음을 보여주는 강력한 사례다. 수학과 같은 추상적이고 논리적인 분야에서도 AI가 인간 전문가를 능가하는 성과를 낼 수 있다는 점은 앞으로 AI 연구 및 활용 방향에 대한 새로운 지평을 열어줄 것으로 기대된다. AI가 단순히 도구를 넘어 창조적인 문제 해결자로서의 역할을 수행할 수 있음을 입증한 이번 사건은 과학 기술계 전반에 큰 파장을 일으킬 것으로 전망된다. 앞으로 AI가 또 어떤 놀라운 업적을 달성할지 귀추가 주목된다.