본 논문은 Text-to-SQL 과제의 어려움, 특히 자연어 이해, 데이터베이스 스키마 이해, 정확한 SQL 쿼리 생성 등 다양한 추론 집약적 하위 과제에 초점을 맞춥니다. 기존의 접근 방식은 유도적 편향을 가진 수작업 추론 경로에 의존하여 전반적인 효율성을 제한하는 경향이 있습니다. 따라서 본 논문에서는 DeepSeek R1 및 OpenAI o1과 같은 추론 향상 모델의 성공에 착안하여 Text-to-SQL 과제에 맞춤화된 새로운 부분 보상 집합을 제안합니다. 이 보상 집합에는 스키마 연결, AI 피드백, n-gram 유사성, 구문 검사가 포함되며, 강화 학습(RL)에서 흔히 발생하는 보상 희소성 문제를 해결하도록 명시적으로 설계되었습니다. 그룹 상대 정책 최적화(GRPO)를 활용하여, 본 접근 방식은 대규모 언어 모델(LLM)이 정확한 SQL 쿼리 생성에 필요한 내재적 추론 기술을 개발하도록 명시적으로 장려합니다. 다양한 크기의 모델을 사용하여, 제안된 보상을 사용한 RL 전용 학습이 감독 미세 조정(SFT)에 비해 일관되게 더 높은 정확도와 우수한 일반화 성능을 달성함을 보여줍니다. 특히, RL로 학습된 14B 매개변수 모델은 BIRD 벤치마크에서 o3-mini보다 4%, Gemini-1.5-Pro-002보다 3% 더 높은 성능을 보여주는 등 기존의 독점 모델보다 뛰어난 성능을 보였습니다. 이는 Text-to-SQL 과제에서 정확도와 추론 능력을 향상시키기 위한 제안된 부분 보상 RL 학습 프레임워크의 효과를 강조합니다.
