본 논문은 생성형 사전 훈련 변환기(GPT) 기반 대규모 언어 모델(LLM)의 앙상블 기법을 검토한다. 개별 LLM은 불일치하는 출력을 생성하고 편향을 보이는 경우가 많아 다양한 언어 패턴을 제대로 나타내지 못하는 한계를 지닌다. 또한 많은 강력한 LLM은 폐쇄형 소스이기 때문에 데이터 프라이버시 문제로 인해 산업 응용이 제한된다. 본 논문은 텍스트 생성에서의 성공에 착안하여 코드 생성을 위한 LLM 앙상블 기법을 검토하고, 7가지 주요 방법(가중치 병합, 지식 융합, 전문가 혼합, 보상 앙상블, 출력 앙상블, 라우팅, 캐스케이딩)으로 분류하여 각 기법의 기능을 분석한다. 다양성 표현 향상, 출력 품질 향상, 응용 유연성 증대 등의 주요 장점을 강조하며, 실제 작업을 위한 모델 선택에 도움을 주고 다중 모달 LLM로 앙상블 전략을 확장하기 위한 기반을 마련한다.
