본 논문은 대규모 언어 모델(LLM)의 그래프 관련 작업 능력이 제한적이라는 점을 지적하며, 이를 개선하기 위한 새로운 접근법 G1을 제시합니다. G1은 합성 그래프 이론적 과제에 대한 강화 학습(RL)을 통해 LLM의 그래프 추론 능력을 크게 향상시킵니다. 이를 위해 연구진은 50가지 다양한 그래프 이론적 과제, 10만 개의 훈련 데이터 및 5천 개의 테스트 데이터로 구성된, 현재까지 가장 큰 그래프 추론 데이터셋인 Erdős를 제작했습니다. G1은 Erdős 데이터셋을 사용한 RL 훈련을 통해 그래프 추론 성능을 크게 향상시키며, 30억 매개변수 모델은 720억 매개변수 모델인 Qwen2.5-72B-Instruct보다도 뛰어난 성능을 보입니다. 또한, RL로 훈련된 모델은 새로운 과제, 도메인, 그래프 인코딩 방식에 대한 강력한 제로샷 일반화 능력을 보여주며, 일반적인 추론 능력도 유지합니다. 본 연구는 RL을 통해 풍부한 합성 데이터를 활용하여 LLM을 미세 조정함으로써 강력한 그래프 추론 모델을 효율적이고 확장 가능하게 구축하는 방법을 제시합니다. 소스 코드와 데이터셋은 공개되어 있습니다.
