KBAlign: Efficient Self Adaptation on Specific Knowledge Bases
Created by
Haebom
저자
Zheni Zeng, Yuxuan Chen, Shi Yu, Ruobing Wang, Yukun Yan, Zhenghao Liu, Shuo Wang, Xu Han, Zhiyuan Liu, Maosong Sun
개요
본 논문은 지식 기반 질의응답(KBQA)에서 검색 증강 생성(RAG)의 한계점을 해결하기 위해, 소규모 지식베이스(KB)에 효율적으로 적응하는 자기 지도 학습 프레임워크인 KBAlign을 제시합니다. KBAlign은 전역 지식을 포착하는 다중 입자 자기 주석 및 자기 검증을 통한 반복적 조정이라는 두 가지 혁신적인 메커니즘을 통해 모델의 고유한 지식 정렬 능력을 활용합니다. 이는 인간의 감독이나 외부 모델의 도움 없이 특정 텍스트 KB에 대한 비용 효율적인 모델 적응을 가능하게 합니다. 실험 결과, KBAlign은 GPT-4 감독 학습을 통한 성능 향상의 90%를 달성하면서 훨씬 작은 모델의 자기 주석에만 의존함을 보여줍니다. 특히 전문화된 말뭉치로부터 심층적인 지식 통합이 필요한 시나리오에서 다양한 도메인에 걸쳐 하류 QA 정확도를 크게 향상시킵니다. 실험 데이터, 모델 및 프로세스 분석을 공개합니다 (https://github.com/thunlp/KBAlign).
