본 논문은 대규모 언어 모델(LLM) 기반의 오픈 도메인 질의응답(OpenQA) 성능 향상을 위한 새로운 프레임워크인 GenKI를 제안합니다. GenKI는 지식 통합과 제어 가능한 생성을 동시에 고려하여 기존 LLM 기반 OpenQA 방법론이 가지는 지식 효과적 통합 및 다양한 작업 상황에 맞는 특정 응답 형식 생성의 어려움을 해결하고자 합니다. 구체적으로, 밀집 패시지 검색 모델을 이용하여 지식 베이스에서 관련 지식을 검색하고, 검색된 지식을 미세 조정 과정의 지시사항에 통합하여 모델을 강화하는 지식 통합 모델을 제시합니다. 또한, 미세 조정된 LLM과 일관성, 유창성, 응답 형식 보장을 포함하는 앙상블 기반 방법을 활용하여 LLM의 제어 가능한 생성을 가능하게 합니다. TriviaQA, MSMARCO, CMRC2018 데이터셋을 이용한 실험 결과, GenKI는 최첨단 기준 모델들보다 우수한 성능을 보였으며, 추가 분석을 통해 검색된 지식의 빈도와 모델의 정확한 지식 재현 능력 간의 선형 관계를 확인했습니다. 소스 코드는 공개되어 있습니다.
