Sign In

Enhancing Large Language Models with Pseudo- and Multisource- Knowledge Graphs for Open-ended Question Answering

Created by
  • Haebom
Category
Empty

저자

Jiaxiang Liu, Tong Zhou, Yubo Chen, Kang Liu, Jun Zhao

개요

본 논문은 대규모 언어 모델(LLM)의 환각 문제를 해결하기 위해 Pseudo-Graph Generation (PG)과 Atomic Knowledge Verification (AKV)을 결합한 새로운 프레임워크인 PG&AKV를 제안합니다. 기존의 자기 향상 기법이나 지식 그래프(KG) 향상 기법의 한계를 극복하기 위해, PG는 관련 지식 프레임워크를 제공하고, AKV는 원자 수준의 지식 질의 및 검증을 통해 다양한 KG 소스에 대한 일반화를 달성합니다. 실험 결과, 개방형 질문에 대해 ROUGE-L 점수가 최소 11.5 향상되었고, 정확한 답변 질문에 대해서는 정확도가 최소 7.5% 향상되었습니다. 또한, 질문 소스와 다른 KG를 사용하더라도 최소 3.5%의 성능 향상을 보였습니다. 이는 PG&AKV가 다양한 KG 소스를 활용하여 특히 개방형 질문에서 LLM 성능 향상에 기여함을 보여줍니다.

시사점, 한계점

시사점:
LLM의 환각 문제 완화에 새로운 접근 방식 제시 (PG&AKV 프레임워크).
개방형 질문과 정확한 답변 질문 모두에서 성능 향상을 입증.
다양한 KG 소스에 대한 일반화 가능성을 확보.
Pseudo-Graph와 Multisource-KG 활용을 통한 LLM 성능 향상 가능성 제시.
한계점:
제시된 프레임워크의 계산 비용 및 효율성에 대한 분석 부족.
다양한 유형의 환각 및 KG 소스에 대한 일반화 성능의 추가적인 검증 필요.
사용된 KG의 질과 완전성에 대한 의존성 및 그 영향에 대한 논의 부족.
특정 KG 소스에 대한 편향성 존재 가능성 및 그에 대한 해결 방안 제시 부족.
👍