QUADS는 자원 제약 환경에서 음성 언어 이해(SLU) 시스템의 성능과 효율성을 향상시키기 위한 통합 프레임워크입니다. 기존의 지식 증류 및 양자화 방법과 달리, QUADS는 다단계 훈련을 통해 지식 증류 과정에서 양자화 제약 조건을 고려하여 최적의 압축을 달성합니다. 미세 조정된 모델을 활용하여 저 비트 환경에 대한 적응력을 높이는 동시에 정확도를 유지합니다. SLURP 데이터셋에서 71.13%의 정확도, FSC 데이터셋에서 99.20%의 정확도를 달성했으며, 최첨단 모델 대비 최대 5.56%의 성능 저하만 보였습니다. 또한, 연산 복잡도는 6073배, 모델 크기는 83700배 감소시키는 극단적인 양자화 환경에서도 강력한 성능을 보여줍니다.
