본 논문은 대규모 언어 모델(LLM)의 퍼즐 추론 능력 향상을 위한 포괄적인 벤치마크 및 훈련 프레임워크인 Enigmata를 제안한다. Enigmata는 7가지 범주에 걸쳐 36가지 퍼즐 과제를 포함하며, 각 과제는 무제한의 예시를 생성하는 생성기와 자동 평가를 위한 규칙 기반 검증기로 구성되어 있다. 이를 통해 확장 가능한 다중 작업 강화 학습 훈련, 세분화된 분석, 그리고 검증 가능한 보상을 이용한 강화 학습(RLVR)과의 원활한 통합을 지원한다. 논문에서는 엄격한 벤치마크인 Enigmata-Eval을 제시하고, 최적화된 다중 작업 RLVR 전략을 개발하여 Qwen2.5-32B-Enigmata 모델을 훈련시켰다. 훈련된 모델은 기존 최고 성능 모델들을 능가하며, 다른 퍼즐 벤치마크 및 수학적 추론 과제에서도 우수한 일반화 성능을 보였다. 더 큰 모델인 Seed1.5-Thinking에 Enigmata 데이터를 활용하여 훈련시킨 결과, AIME, BeyondAIME, GPQA와 같은 고급 수학 및 STEM 추론 과제에서도 성능 향상을 확인하였다.
시사점, 한계점
•
시사점:
◦
LLM의 퍼즐 추론 능력 향상을 위한 효과적인 벤치마크 및 훈련 프레임워크(Enigmata) 제시.
◦
다양한 퍼즐 유형과 난이도 조절을 통해 LLM의 추론 능력을 종합적으로 평가하고 향상시킬 수 있음.
◦
Enigmata를 활용한 훈련을 통해 기존 SOTA 모델을 능가하는 성능 달성 및 다양한 과제에 대한 일반화 성능 향상 확인.
◦
고급 수학 및 STEM 추론 과제에서도 성능 향상을 보임으로써 Enigmata의 일반화 가능성을 입증.
•
한계점:
◦
Enigmata 벤치마크의 범위가 제한적일 수 있음. 다양한 유형의 퍼즐을 더 추가하여 벤치마크의 포괄성을 높일 필요가 있음.
◦
훈련된 모델의 성능 향상이 특정 모델 및 데이터셋에 의존적일 수 있음. 다양한 모델과 데이터셋에 대한 추가적인 실험이 필요함.
◦
퍼즐 추론 능력 향상이 실제 세계 문제 해결 능력 향상으로 직접 연결되는지에 대한 추가적인 연구가 필요함.
