본 논문은 대규모 언어 모델(LLM)의 불일치성 문제를 해결하기 위해, 모델 다양성을 활용한 불확실성 정량화 방법인 MUSE(Multi-LLM Uncertainty via Subset Ensembles)를 제안한다. MUSE는 Jensen-Shannon Divergence를 사용하여 잘 보정된 LLM의 하위 집합을 식별하고 집계하여 더 신뢰할 수 있는 불확실성 추정치를 제공한다. 이는 LLM의 상이한 학습 과정과 언어의 Zipfian 분포로 인해 LLM들이 상호 보완적인 예측을 한다는 가정에 기반한다. 이 방법은 이진 예측 작업에서 단일 모델 및 단순 집합 기준 모델에 비해 향상된 보정 및 예측 성능을 보여주었으며, MUSE를 chain-of-thought distillation과 함께 사용하여 LLM의 보정을 미세 조정하는 방법 또한 탐구한다. MUSE는 GitHub에서 공개되어 있다.
시사점, 한계점
•
시사점:
◦
LLM의 모델 다양성을 활용하여 불확실성 추정의 정확도를 향상시킬 수 있음을 보여줌.
◦
Jensen-Shannon Divergence 기반의 MUSE 방법이 단일 모델 및 단순 집합 기준 모델보다 우수한 성능을 보임.
◦
Chain-of-thought distillation과의 결합을 통한 LLM 보정 개선 가능성 제시.
◦
개발된 MUSE 방법의 오픈소스 공개를 통한 연구 및 활용 확장 가능성 제공.
•
한계점:
◦
현재는 이진 분류 문제에 대한 실험 결과만 제시되어, 다중 클래스 분류 또는 다른 유형의 작업에 대한 일반화 가능성은 추가 연구가 필요함.
◦
MUSE의 성능 향상은 특정 데이터셋과 모델에 국한될 수 있으며, 다양한 상황에서의 범용성을 검증해야 함.
◦
Jensen-Shannon Divergence 외 다른 정보 이론적 지표를 활용한 성능 비교 분석이 부족함.
