SpotIt+: Verification-based Text-to-SQL Evaluation with Database Constraints

작성자

Haebom

카테고리

Empty

저자

Andrew Tremante, Yang He, Rocky Klopfenstein, Yuepeng Wang, Nina Narodytska, Haoze Wu

💡 개요

본 논문은 텍스트-SQL(Text-to-SQL) 시스템의 평가를 위한 검증 기반 도구인 SpotIt+를 제안합니다. SpotIt+는 생성된 SQL 쿼리와 정답 SQL 쿼리 간의 차이를 명확히 드러내는 데이터베이스 인스턴스를 적극적으로 탐색하여, 두 쿼리가 동등하지 않음을 증명합니다. 제약 조건 마이닝 파이프라인을 통해 실질적으로 유의미한 차이를 반영하는 반례를 생성하며, 이를 통해 기존 평가 방식으로는 발견하기 어려운 수많은 불일치를 효율적으로 찾아냅니다.

🔑 시사점 및 한계

•

Text-to-SQL 시스템 평가 시, 단순한 테스트 케이스 기반 접근 방식의 한계를 극복하고 실제 데이터베이스 제약 조건을 고려한 보다 엄밀하고 현실적인 평가 방법론을 제시합니다.

•

LLM 기반 검증과 규칙 기반 제약 조건 마이닝을 결합하여, 실질적인 불일치를 효과적으로 탐지하는 반례 생성 능력을 향상시켰습니다.

•

SpotIt+는 효율적으로 수많은 텍스트-SQL 불일치를 발견할 수 있지만, 제약 조건 마이닝 파이프라인의 완전성과 효율성을 더욱 개선하고 다양한 종류의 SQL 쿼리 및 데이터베이스에 대한 일반화 성능을 높이는 것이 향후 과제입니다.

PDF 보기

Made with Slashpage