멀티버스 컴퓨팅, 4비트 양자화 모델이 원본 능가하는 '양자화 인식 힐링' 기술 공개

멀티버스 컴퓨팅(Multiverse Computing)은 대규모 언어 모델(LLM)의 압축 및 양자화 과정에서 발생하는 성능 저하를 해결하고 오히려 성능을 향상시키는 새로운 기술인 '양자화 인식 힐링(Quantization-Aware Healing, QAH)'을 발표했다. 이 기술은 구조적으로 압축되고 4비트(MXFP4)로 양자화된 모델이 원본의 전체 정밀도(bfloat16) 모델보다 더 작고, 운영 비용이 저렴하며, 특정 벤치마크에서 더 높은 정확도를 달성할 수 있도록 한다. QAH는 기존의 압축-양자화-복구(healing) 파이프라인에서 복구 단계를 혁신하여, 4비트 모델이 원본 16비트 모델의 성능을 능가하는 이례적인 결과를 보여준다.

대규모 언어 모델을 효율적으로 배포하기 위한 일반적인 방법은 먼저 아키텍처를 압축하여 매개변수 수를 줄이고, 이어서 남은 가중치를 4비트로 양자화하여 메모리 및 연산량을 추가로 절감하는 것이다. 그러나 이러한 두 단계는 추론, 수학 문제 해결, 코드 생성과 같은 핵심 기능의 성능을 체계적으로 저하시킨다. 이 때문에 모델을 프로덕션에 배포하기 전에 '힐링(healing)'이라는 복구 단계를 추가하는 것이 일반적이다. 기존의 힐링 방법으로는 양자화 인식 훈련(Quantization-Aware Training, QAT)과 양자화 인식 증류(Quantization-Aware Distillation, QAD)가 주로 사용된다. QAT는 비용이 많이 들고 훈련이 너무 길어지면 불안정해질 수 있으며, QAD는 모델이 구조적으로 압축된 경우(레이어, 헤드, 뉴런 감소)에는 동일한 아키텍처의 전체 정밀도 교사 모델이 존재하지 않아 성능 상한선이 제한되는 한계가 있었다. QAH는 이러한 기존 방법의 한계를 극복하며, 구조적 압축과 양자화가 동시에 적용된 모델의 복구 문제를 해결한다.

QAH는 교사(teacher) 모델로 압축 전의 원본, 전체 크기, 전체 정밀도(bfloat16) 모델을 사용하고, 학생(student) 모델로 구조적으로 압축되고 4비트(MXFP4)로 양자화된 모델을 사용한다. 학생 모델은 교사 모델의 출력 로짓(logit)에 대한 KL-발산 손실(KL-divergence loss)을 통해 직접 증류된다. 이 과정에서 학생 모델은 하드 레이블(hard label) 대신 교사 모델의 출력 분포만을 학습한다. 교사 모델과 학생 모델의 아키텍처가 다르더라도(예: 교사는 120B, 학생은 60B) 교사의 출력 분포는 아키텍처에 구애받지 않으므로 전이 학습에 문제가 없다. QAH는 양자화 단계를 손실이 발생하는 후처리 과정이 아닌, 원본 교사 모델에 대한 두 번째 완전한 증류 과정으로 재정의한다. 이는 이전 복구 단계에서 전달되지 못한 정보를 4비트 학생 모델이 추가로 습득하는 기회가 된다. 또한, KL 증류는 학생 모델이 고정된 교사 분포에 맞춰지면 더 이상 표류할 압력이 없어 훈련 안정성이 높다. 긴 컨텍스트(최대 32k 토큰)를 처리하기 위해 메모리 효율적인 청크(chunked) KL-발산 손실을 재사용하여 고정된 GPU 메모리 예산 내에서 훈련이 가능하도록 한다.

멀티버스 컴퓨팅은 2026년 8월 25일에 발표된 연구에서 GPT-OSS 120B 모델을 60B 매개변수로 압축하고 bfloat16으로 복구한 후, QAH를 적용하여 MXFP4로 재양자화했다. 이 4비트 QAH 모델은 동일한 60B 모델의 bfloat16 체크포인트(해당 아키텍처의 최적 전체 정밀도 버전)와 비교했을 때 9개 벤치마크 중 7개에서 더 높은 성능을 보였다. 특히, 압축으로 인해 가장 큰 손상을 입는 경향이 있는 장문 컨텍스트 추론(AA-LCR)에서 7.4점, 수학(AIME 2025)에서 5.6점 향상되는 등 큰 폭의 개선을 달성했다. QAH가 뒤처진 MMLU-Pro와 SciCode 벤치마크에서는 1.5점 미만의 근소한 차이를 보였다. 또한, QAH 60B MXFP4 모델은 매개변수 수가 절반이고 가중치 메모리가 약 4분의 1임에도 불구하고 원본 120B 교사 모델(MXFP4)을 LiveCodeBench에서 66.5점 대 66.0점으로 능가했으며, GPQA Diamond에서는 1.6점 이내의 차이를 보였다.

QAH와 QAT를 비교하기 위해 GPT-OSS 9B 모델을 MXFP4로 양자화하고 MMLU-Pro, LiveCodeBench, GPQA Diamond 벤치마크의 평균 성능을 추적했다. 두 방법 모두 QAH 54.9점, QAT 54.6점으로 유사한 최고 성능에 도달하여 최적 정확도 면에서는 거의 동일했다. 그러나 최고 성능에 도달하는 속도와 이후의 안정성에서 차이를 보였다. QAH는 약 100단계 만에 최고점에 도달하여 QAT의 약 700단계보다 약 7배 빨랐다. 이후 QAH는 훈련 내내 최고점으로부터 약 2점 이내의 안정적인 성능을 유지했다. 반면 QAT는 최고점을 지난 후 급격히 성능이 저하되어 1,200단계에서는 거의 19점 가까이 하락했다. 이는 고정된 교사 모델에 대한 KL 증류가 학생 모델이 일단 교사에 맞춰지면 더 이상 표류할 유인이 없는 반면, 교차 엔트로피 손실은 하드 레이블을 계속해서 밀어붙여 결국 모델의 능력을 저하시키기 때문으로 분석된다.

QAH 기술은 대규모 언어 모델의 배포 방식에 실질적인 변화를 가져온다. 4비트 정밀도의 QAH 모델은 bfloat16 학생 모델보다 약 4배 적은 가중치 메모리를 사용하며, 120B 교사 모델의 절반 매개변수 수로 토큰당 연산량을 약 절반으로 줄여 훨씬 작은 하드웨어에서도 실행할 수 있게 한다. bfloat16으로 제공되는 모델의 경우, 매개변수 및 정밀도 감소를 합치면 토큰당 연산량이 약 8배까지 줄어들 수 있다. 이는 개발팀이 고성능 LLM을 효율적으로 배포하는 데 큰 이점을 제공한다. QAH를 통해 압축된 4비트 모델은 더 이상 정확도 손실을 감수해야 하는 대상이 아니며, 더 작고, 더 저렴하며, 동시에 더 정확한 모델이 될 수 있다. 또한, QAT 방식보다 훨씬 적은 훈련 시간으로 이러한 이점을 달성할 수 있어, 양자화가 효율성을 위한 비용이 아니라 모델을 추가로 학습시킬 기회가 된다.

QAH는 구조적 압축과 양자화가 이미 진행된 모델에 적용된다. 이 기술은 긴 컨텍스트 힐링을 위한 메모리 효율적인 청크 KL-발산 구현에 의존하며, 이는 멀티버스 컴퓨팅의 동반 연구에서 제공된다. 원문 기사의 댓글에서 저자들은 벤치마크 결과 테이블의 비교가 훈련 시간이 동일하지 않은 체크포인트 간에 이루어졌음을 인정했다. 60B bfloat16 체크포인트는 한 번의 증류(복구) 과정을 거쳤지만, 60B MXFP4 QAH 체크포인트는 120B 교사 모델에 대한 두 번째 증류 과정을 추가로 거쳤다. 따라서 이 테이블만으로는 "양자화 상태에서의 증류"와 "더 긴 훈련"의 효과를 완전히 분리할 수 없다는 한계가 있다. 저자들은 이것이 이론적 주장이 아닌 응용 사례 연구이며, 보고된 수치는 실제적이고 재현 가능하지만, 인과 관계를 명확히 하려면 60B bfloat16 모델에 동일한 두 번째 증류 과정을 적용한 후 MXFP4로 양자화하는 추가적인 대조군 실험이 필요하다고 밝혔다.