Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation
Created by
- Haebom
Category
Empty
저자
Tingjia Shen, Hao Wang, Chuan Qin, Ruijun Sun, Yang Song, Defu Lian, Hengshu Zhu, Enhong Chen
개요
Open-domain 질의 응답(OpenQA)은 비정형 텍스트 데이터에서 답을 추출하는 NLP의 핵심 분야입니다. 대규모 언어 모델(LLM) 기반 OpenQA 방법은 LLM의 방대한 매개변수로 인해 기존 방법보다 향상된 이해 및 답변 능력을 보였습니다. 그러나 이러한 방법들은 지식을 LLM에 효과적으로 통합하고 다양한 작업 상황에 맞게 특정 답변 형식으로 결과를 적응적으로 생성하는 두 가지 주요 과제에 직면합니다. GenKI는 지식 통합과 제어 가능한 생성을 동시에 탐구하여 OpenQA 성능을 향상시키는 새로운 프레임워크입니다. GenKI는 먼저 밀집 구절 검색 모델을 훈련하여 주어진 지식 기반에서 관련 지식을 검색합니다. 다음으로, 검색된 지식을 미세 조정 중 지침에 통합하는 새로운 지식 통합 모델을 도입합니다. 또한, LLM에서 제어 가능한 생성을 가능하게 하기 위해 특정 미세 조정된 LLM과 일관성, 유창성 및 답변 형식 보장을 포함하는 텍스트 일관성 기반 앙상블을 활용합니다. TriviaQA, MSMARCO 및 CMRC2018 데이터 세트에 대한 광범위한 실험을 통해 GenKI의 효과를 입증했습니다. 또한 제거 연구를 통해 검색된 지식의 빈도와 모델이 정답에 대해 지식을 정확하게 기억하는 능력 사이에 선형 관계가 있음을 밝혔습니다.
시사점, 한계점
•
지식 통합과 제어 가능한 생성을 결합한 새로운 OpenQA 프레임워크 GenKI 제안
•
다양한 답변 형식을 가진 TriviaQA, MSMARCO, CMRC2018 데이터 세트에서 SOTA 달성
•
검색된 지식 빈도와 모델의 지식 기억 능력 간의 선형 관계 확인
•
해당 논문에서 구체적인 한계점은 명시되지 않음
