본 논문은 단일 대규모 언어 모델(LLM)의 한계점, 즉 고정된 언어 매개변수로 인한 출력의 불일치 및 다양한 언어 패턴 표현의 제약, 그리고 많은 강력한 LLM이 폐쇄형 소스라는 점을 지적하며, 텍스트 및 코드 생성에서 LLM 앙상블 모델의 적용 가능성을 검토합니다. LLM 앙상블 접근 방식을 가중치 병합, 지식 융합, 전문가 혼합, 보상 앙상블, 출력 앙상블, 라우팅, 캐스케이딩의 7가지 주요 방법으로 분류하고, 강력한 성능과 광범위한 응용 가능성을 보이는 4가지 방법과 모델에 초점을 맞춰 모델링 단계, 훈련 방법, 출력 특징을 분석합니다. LLM 앙상블 기법의 장점으로 다양성의 향상된 표현, 출력 품질 향상, 응용 프로그램의 유연성 증대를 제시하며, 텍스트 및 코드 생성과 관련된 다양한 실제 작업에 대한 모델 선택 및 다중 모드 LLM에 대한 방법 적용에 대한 통찰력을 제공합니다.
