GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability
Created by
Haebom
Category
Empty
저자
Zihan Luo, Xiran Song, Hong Huang, Jianxun Lian, Chenhao Zhang, Jinqi Jiang, Xing Xie, Hai Jin
개요
본 논문은 대규모 언어 모델(LLM)의 일반적인 능력을 향상시키기 위한 연구로, 그래프 데이터 이해가 중요함을 강조하며 GraphInstruct라는 동적 벤치마크를 제안한다. GraphInstruct는 21개의 고전적인 그래프 추론 작업을 포함하며, 다양한 그래프 생성 파이프라인과 각 샘플에 대한 상세한 중간 추론 단계를 제공한다. GraphInstruct를 기반으로 효율적인 instruction-tuning을 통해 GraphSolver를 개발하여 다른 오픈 소스 LLM에 비해 뛰어난 그래프 이해 능력을 보였다. 또한, 다단계 그래프 추론 능력을 부여하기 위해 label-mask 훈련 전략을 제안하고 GraphSolver+를 구축하여 중간 추론 토큰에 대한 마스크된 감독을 활용, 중요한 노드 식별 신호를 강조했다.
시사점, 한계점
•
LLM의 그래프 이해 및 추론 능력 향상을 위한 선구적인 노력
•
GraphInstruct 벤치마크를 통해 다양한 그래프 추론 작업 제공
•
GraphSolver 및 GraphSolver+ 개발을 통해 기존 LLM 대비 우수한 성능 입증
