본 논문은 소규모 언어 모델에서 발생하는 환각(hallucination) 문제를 해결하기 위해, 매개변수 수를 늘리지 않고 추론 성능을 향상시키는 통합된 가상 전문가 혼합(Virtual Mixture-of-Experts, MoE) 전략을 제안합니다. Qwen 1.5 0.5B 모델을 대상으로, 여러 도메인 특화 프롬프트를 활용하여 모델을 다양한 관점에서 유도하고, 통계적 이상치 절단 전략과 임베딩 공간 노이즈 주입을 통해 비현실적 출력을 줄이고 출력 다양성을 높입니다. 고정된 투표 메커니즘을 사용하여 각 모듈의 기여도를 명확하게 평가하고, 통계적 및 앙상블 학습 관점에서 이 방법이 출력 분산을 줄이고 환각을 억제하는 이유를 이론적으로 설명합니다. 대화 생성 작업에 대한 광범위한 실험을 통해 소규모 모델에서 추론 정확도와 강건성을 크게 향상시킨다는 것을 보여줍니다. 또한, 가상 전문가의 직교성 평가 방법과 게이팅 네트워크를 사용한 동적 전문가 가중치 할당에 대한 미래 연구 가능성을 논의합니다.
