본 논문은 다양한 분야에서 그래프 분석의 중요성을 고려하여, 대규모 언어 모델(LLM)이 그래프를 처리하는 능력을 향상시키는 데 초점을 맞춘 연구입니다. ProGraph라는 프로그래밍 기반 벤치마크를 개발하고, 이를 통해 현재 LLM의 그래프 분석 능력이 부족함을 확인했습니다. 이 문제를 해결하기 위해, 6개의 널리 사용되는 그래프 라이브러리를 기반으로 한 문서 및 자동 생성 코드를 포함하는 LLM4Graph 데이터 세트를 제안했습니다. 이를 통해 폐쇄형 LLM의 성능을 향상시키고, 오픈 소스 LLM을 미세 조정하여 그래프 분석 능력을 개선하는 데 성공했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 그래프 분석 능력 향상을 위한 프로그래밍 기반 접근 방식의 유효성 입증.
◦
LLM4Graph 데이터 세트를 활용한 LLM 성능 향상.
◦
구조화된 데이터 처리 능력에 대한 LLM의 잠재력 재확인.
◦
오픈 소스 LLM의 그래프 분석 능력 개선 가능성 제시.
•
한계점:
◦
현재 LLM의 ProGraph 벤치마크 성능이 여전히 낮음.
◦
폐쇄형 LLM에 대한 의존성 (LLM4Graph 데이터셋을 통한 성능 향상은 폐쇄형 LLM에도 적용).
