AI 모델 '다이어트'의 역설: 작아질수록 똑똑해졌다
Decrypt2026년 8월 26일 05:462
인공지능(AI) 모델의 크기를 줄이면서도 성능을 오히려 향상시키는 혁신적인 방법이 개발되어 AI 업계의 주목을 받고 있다. 이전까지 AI 모델을 압축하면 성능 저하를 감수해야 한다는 통념을 뒤집는 연구 결과로, 더 적은 비용으로 고성능 AI를 구현할 수 있는 가능성을 열었다.
멀티버스 컴퓨팅(Multiverse Computing)의 연구팀은 지난 8월 25일 허깅 페이스(Hugging Face) 블로그를 통해 '양자화 인식 복구(Quantization-Aware Healing)'라는 새로운 기법을 발표했다. 이들은 오픈AI의 대규모 언어 모델인 GPT-OSS 모델의 파라미터(매개변수) 수를 1200억 개에서 600억 개로 절반으로 줄이고, 메모리 사용량을 4비트로 압축하는 데 성공했다. 놀라운 점은 이처럼 작아진 모델이 원본 모델(1200억 개 파라미터)과 비교했을 때 9개의 테스트 중 7개에서 더 뛰어난 성능을 보였다는 것이다.
AI 모델의 파라미터는 모델이 학습한 지식과 능력을 저장하는 일종의 '스위치' 또는 '손잡이'와 같다. 파라미터 수가 많을수록 모델은 더 똑똑해지지만, 동시에 더 많은 컴퓨팅 자원(메모리, 처리 능력)을 요구하게 된다. 예를 들어, 오픈AI의 GPT-OSS 120B 모델은 1200억 개의 파라미터를 가지고 있으며, 이는 실행에 상당한 메모리와 전력을 소모한다. 따라서 AI 모델을 상용화하고 비용을 절감하기 위해서는 모델의 크기를 줄이는 것이 필수적이다. 이는 마치 고화질 사진 파일을 압축하여 용량을 줄이는 것과 유사하다. 그러나 과도한 압축은 이미지의 품질을 저하시키는 것처럼, AI 모델도 압축을 너무 심하게 하면 성능이 떨어지는 것이 일반적인 현상이었다.
지금까지 AI 업계에서는 모델 압축 시 성능 저하를 피할 수 없는 '비용'으로 받아들여 왔다. 하지만 멀티버스 컴퓨팅의 연구는 이러한 통념에 근본적인 의문을 제기한다. 이들은 GPT-OSS 모델을 600억 개 파라미터로 줄이고 각 파라미터를 4비트라는 매우 작은 단위로 압축하는 극한의 압축 과정을 거쳤음에도 불구하고, 오히려 모델의 성능을 향상시키는 방법을 발견했다.
연구팀이 밝힌 핵심 비결은 '양자화 인식 복구' 기법에 있다. 기존의 모델 압축 방식은 보통 축소된 모델(예: 600억 개 파라미터, 고정밀도 버전)을 기준으로 성능을 복구하려 했다. 하지만 이 축소된 모델 역시 원본의 '흐릿한 복사본'일 뿐이기에, 작은 모델은 이미 결함이 있는 모델을 모방하게 되어 성능 향상의 한계에 부딪혔다. 마치 절반쯤 축소된 사진을 보고 원본처럼 보이게 복원하려는 시도와 같다.
반면, '양자화 인식 복구'는 압축된 작은 모델이 학습할 때 '반쪽짜리' 모델이 아닌, 압축되지 않은 '원본의 정답'을 직접 참조하도록 설계했다. 즉, 작은 모델이 '흐릿한 중간본'이 아닌 '마스터'로부터 직접 배우도록 하는 것이다. 연구팀은 이 방식을 통해 4비트, 600억 개 파라미터의 작은 모델이 600억 개 파라미터의 고정밀도 모델보다 7개의 테스트에서 더 나은 성과를 냈다고 밝혔다. 물론 1200억 개의 파라미터를 가진 원본 모델이 대부분의 라운드에서 여전히 우위를 점했지만, '다이어트' 버전으로 불리는 압축 모델이 예상치를 뛰어넘는 성능을 보여준 것은 매우 고무적인 결과다.
연구팀은 논문에서 “실무자들을 위한 실질적인 메시지는 증류 기반 복구 파이프라인에서 양자화 단계가 비용 절감을 위해 최소화해야 할 대상이 아니라, 교사의 추가적인 감독 기회를 제공하는 기회가 될 수 있다는 점이다. 이를 통해 모델은 제공 비용이 저렴하고 메모리 사용량이 적으면서도, 최소한 원본과 동등한 정확도를 유지하게 될 것”이라고 강조했다.
이 연구 결과는 AI 모델을 더 작고 효율적으로 만들면서도 성능을 유지하거나 향상시킬 수 있다는 가능성을 시사한다. 이는 AI 기술의 접근성을 높이고, AI를 구동하는 데 필요한 막대한 하드웨어 자원과 에너지 소비를 줄이는 데 크게 기여할 수 있다. 특히 클라우드 서비스 비용 절감, 모바일 기기에서의 AI 실행, 에너지 효율적인 AI 시스템 구축 등 다양한 분야에서 혁신을 가져올 것으로 기대된다.
AI 모델의 '양자화'는 모델의 가중치를 더 낮은 비트 정밀도로 표현하는 기술이다. 예를 들어, 일반적으로 사용되는 32비트 부동소수점 방식에서 16비트, 8비트, 또는 4비트 정수로 변환하는 것을 의미한다. 이 과정에서 모델의 크기가 줄어들고 연산 속도가 빨라지지만, 정보 손실로 인해 정확도가 떨어지는 경우가 많다. 멀티버스 컴퓨팅의 연구는 이러한 양자화 과정에서 발생하는 손실을 최소화하고 오히려 성능을 향상시키는 새로운 '복구' 전략을 제시한 것이다.
이번 연구는 AI의 발전 방향에 대한 새로운 관점을 제시한다. 단순히 모델의 크기를 키우는 것이 능사가 아니라, 효율성과 성능을 동시에 최적화하는 방향으로 나아가야 함을 시사한다. 앞으로 이러한 '작지만 강한' AI 모델들이 다양한 산업 분야에서 혁신을 주도할 것으로 전망된다.