Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift
Author
- Haebom
Category
Empty
저자
Junade Ali
💡 개요
본 논문은 대규모 언어 모델(LLM) 앙상블에서 '생각의 다양성'이 제공하는 향상 효과를 정량화하는 실험적으로 검증된 공식 법칙을 제시합니다. LLM 앙상블 향상 효과를 '구조 질량'과 '손상 질량'으로 분해하여 향상 효과를 간결하게 계산하는 경험적 법칙을 도출했습니다. 이를 통해 앙상블 성능을 예측하는 주요 지표로 정확도 조정된 상관관계($\phi_{\mathrm{adj}}$), 정확도 격차, 그리고 쌍의 집단 정확도를 추출했습니다.
🔑 시사점 및 한계
•
LLM 앙상블 성능 향상을 예측하는 데 있어 단순히 모델 간의 상관관계보다 '정확도 조정된 상관관계($\phi_{\mathrm{adj}}$)'와 '정확도 격차', '집단 정확도' 조합이 훨씬 효과적입니다.
•
제안된 경험적 법칙은 다양한 과학 및 사이버 보안 벤치마크에서 예측력을 입증했으며, 학습 데이터셋에 포함되지 않은 새로운 데이터셋에서도 안정적인 예측 성능을 보였습니다.
•
향후 연구에서는 더 광범위한 LLM 모델과 다양한 문제 영역에 대해 제안된 법칙의 일반화 가능성을 탐색할 필요가 있습니다.
