GraphInstruct: Empowering Large Language Models with Graph Understanding and Reasoning Capability
Created by
Haebom
Category
Empty
저자
Zihan Luo, Xiran Song, Hong Huang, Jianxun Lian, Chenhao Zhang, Jinqi Jiang, Xing Xie, Hai Jin
개요
본 논문은 대규모 언어 모델(LLM)의 일반적인 능력을 향상시키기 위한 연구로, 그래프 데이터 이해가 중요하다고 보고 GraphInstruct라는 동적 벤치마크를 제안한다. GraphInstruct는 21개의 고전적인 그래프 추론 작업을 포괄하며, 다양한 그래프 생성 파이프라인과 각 샘플에 대한 상세한 중간 추론 단계를 제공한다. 이를 기반으로 효율적인 instruction-tuning을 통해 GraphSolver를 개발하여 다른 오픈소스 LLM보다 뛰어난 그래프 이해 능력을 보였다. 또한, 다단계 그래프 추론 능력을 부여하기 위해 label-mask 훈련 전략을 제안하고 GraphSolver+를 구축하여 중간 추론 토큰에 대한 마스크된 감독을 통해 중요한 노드 식별 신호를 강조했다. 광범위한 실험을 통해 GraphSolver와 GraphSolver+가 다른 LLM보다 우수함을 입증했으며, GraphInstruct가 LLM을 그래프 구조 데이터에 적용하는 연구를 촉진할 것으로 기대한다.