LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph
Created by
Haebom
저자
Tu Ao, Yanhua Yu, Yuling Wang, Yang Deng, Zirui Guo, Liang Pang, Pinghui Wang, Tat-Seng Chua, Xiao Zhang, Zhen Cai
개요
본 논문은 지식 그래프(KG)의 구조적 정보를 활용하여 대규모 언어 모델(LLM)의 추론 성능을 향상시키는 경량형 프롬프트 학습 추론 프레임워크인 LightPROF를 제안합니다. LightPROF는 KG에서 추론에 필요한 그래프를 검색하고, Transformer 기반 지식 어댑터를 통해 KG의 사실적 및 구조적 정보를 LLM의 토큰 임베딩 공간에 매핑하여 LLM 친화적인 프롬프트를 생성합니다. 기존의 KG 기반 LLM 추론 방법들이 KG의 지식을 단순히 텍스트 형태로 프롬프트에 주입하는 것과 달리, LightPROF는 KG의 구조적 정보를 활용하여 더욱 효과적인 추론을 수행합니다. 또한, LightPROF는 오픈소스 LLM과 호환 가능하며, 지식 어댑터만 학습하면 되므로 매개변수 효율성이 높습니다. 두 개의 공개 KGQA 벤치마크에 대한 실험 결과, LightPROF는 소규모 LLM을 사용하더라도 우수한 성능을 달성하며, 입력 토큰 수와 추론 시간 측면에서도 큰 이점을 보입니다.
시사점, 한계점
•
시사점:
◦
소규모 LLM을 사용하여 KGQA 문제에서 우수한 성능을 달성할 수 있는 새로운 방법 제시.
