ReFactX: Scalable Reasoning with Reliable Facts via Constrained Generation
Created by
Haebom
Category
Empty
저자
Riccardo Pozzi, Matteo Palmonari, Andrea Coletta, Luigi Bellomarini, Jens Lehmann, Sahar Vahdati
개요
본 논문은 대규모 언어 모델(LLM)이 외부 지식에 접근할 때 검색기나 보조 모델에 의존하지 않고도 지식 격차 및 환각 문제를 해결하는 확장 가능한 방법을 제시한다. 제안하는 방법은 사전 구축된 접두사 트리 인덱스를 사용한 제한적 생성 방식을 활용한다. 지식 그래프의 삼플을 텍스트 팩트로 구두화하여 토큰화하고 효율적인 접근을 위해 접두사 트리에 인덱싱한다. 추론 과정에서 LLM은 제한적 생성을 통해 기존 팩트를 형성하는 토큰 시퀀스만 생성하여 외부 지식을 획득한다. 질문 응답(QA)에 대한 평가 결과, 제안하는 방법이 대규모 지식 베이스에 적용 가능하며, 도메인별 데이터에 적응하고 효과적인 결과를 얻을 수 있음을 보여준다. 또한 생성 시간에 미미한 오버헤드만 발생한다.
시사점, 한계점
•
시사점:
◦
검색기나 보조 모델 없이 LLM이 외부 지식에 효과적으로 접근할 수 있는 새로운 방법 제시
