SQLong: Enhanced NL2SQL for Longer Contexts with LLMs
Created by
Haebom
저자
Dai Quoc Nguyen, Cong Duy Vu Hoang, Duy Vu, Gioacchino Tangari, Thanh Tien Vu, Don Dharmasiri, Yuan-Fang Li, Long Duong
개요
본 논문은 대규모 언어 모델(LLM)의 NL2SQL(자연어-SQL 변환) 작업 성능 향상을 위한 새로운 데이터 증강 프레임워크인 SQLong을 제시합니다. 기존 데이터베이스 스키마에 추가적인 합성 CREATE TABLE 명령어와 해당 데이터 행을 추가하여 장문 컨텍스트 시나리오를 효과적으로 모방합니다. 훈련 데이터의 다양한 스키마에서 샘플링된 데이터를 이용하여 장문 컨텍스트에서의 LLM 성능 저하 문제를 해결합니다. Spider와 BIRD 데이터셋을 이용한 실험 결과, SQLong으로 증강된 데이터로 미세 조정된 LLM이 기존 데이터셋으로 훈련된 LLM보다 성능이 훨씬 뛰어남을 보여줍니다.
시사점, 한계점
•
시사점:
◦
복잡한 데이터베이스 스키마를 가진 실제 환경에서 NL2SQL 성능 향상에 기여할 수 있음을 보여줍니다.
◦
SQLong은 실제 구현 가능성을 가지는 효율적인 데이터 증강 프레임워크임을 시사합니다.
◦
장문 컨텍스트에서의 LLM 성능 저하 문제를 해결하는 효과적인 방법을 제시합니다.
•
한계점:
◦
합성 데이터 생성 과정의 품질 및 다양성에 대한 추가적인 연구가 필요할 수 있습니다.
◦
특정 데이터셋에 대한 성능 향상이 다른 데이터셋에도 일반화될 수 있는지에 대한 추가적인 검증이 필요합니다.
