본 논문은 대규모 언어 모델(LLM)의 도메인별 성능 차이를 극복하기 위해, 추가적인 모델 훈련 없이 테스트 단계에서 상호 보완적인 지식을 효율적으로 융합하는 새로운 협업적 예측 디코딩(CoSD) 알고리즘을 제시한다. CoSD는 초안 모델이 초기 시퀀스를 생성하고, 간단한 규칙 또는 의사결정 트리를 사용하여 보조 모델을 호출하여 초안을 개선하는 시점을 결정한다. 이를 통해 지식 융합을 향상시키는 동시에 추론 효율성을 높이고, 도메인과 모델 간 전이성을 확보하며, 설명 가능성을 높인다. 실험 결과, 기존 방법에 비해 최대 10%의 정확도 향상을 보이며, LLM 기반 애플리케이션에 대한 확장 가능하고 효과적인 솔루션을 제공한다.
