Sign In

Enhancing Text-to-SQL Capabilities of Large Language Models via Domain Database Knowledge Injection

Created by
  • Haebom
Category
Empty

저자

Xingyu Ma, Xin Tian, Lingxiang Wu, Xuepeng Wang, Xueming Tang, Jinqiao Wang

개요

본 논문은 대규모 언어 모델(LLM)을 이용한 Text-to-SQL 작업에서의 hallucination 문제와 도메인 특화 데이터베이스 지식 부족 문제를 해결하기 위해, 사전 지식을 통합하는 지식 주입 방식을 제안합니다. LLM을 도메인 특화 데이터베이스 지식으로 사전 훈련하고, Text-to-SQL 작업으로 미세 조정하여 성능을 향상시키는 방법을 제시하며, 다양한 모델에서 Execution Match (EX) 및 Exact Match (EM) 지표를 개선함을 실험적으로 보여줍니다. 특히, 컬럼 이름 생성 및 값 매칭 오류를 감소시키며, 제안된 방법의 일반화 가능성을 보여줍니다.

시사점, 한계점

시사점:
LLM 기반 Text-to-SQL 작업의 정확도 향상에 대한 새로운 접근법 제시
도메인 특화 데이터베이스 지식 주입을 통한 hallucination 문제 완화
다양한 LLM 모델과 Text-to-SQL 작업에 대한 일반화 가능성 확인
EX 및 EM 지표의 상당한 향상을 통해 실질적인 성능 개선 증명
한계점:
제안된 지식 주입 방법의 특정 데이터베이스 구조 또는 도메인에 대한 의존성 여부에 대한 추가 연구 필요
다양한 규모 및 복잡성의 데이터베이스에 대한 일반화 성능 평가 추가 필요
다른 지식 주입 방법과의 비교 분석을 통한 성능 우위 검증 필요
👍