본 논문은 대규모 언어 모델(LLM) 기반의 text-to-SQL 파싱에서 신뢰할 수 있는 불확실성 척도를 얻는 문제를 다룬다. LLM이 높은 정확도를 보이지만 때때로 예상치 못한 오류를 보이는 경우가 있어, 신뢰할 수 있는 text-to-SQL 시스템을 구축하기 위해서는 LLM으로부터 신뢰할 수 있는 불확실성 측정값을 얻는 것이 중요하다. 본 연구는 LLM 기반 text-to-SQL 파싱의 사후 보정을 위한 벤치마크를 최초로 제시하고, 기존의 보정 방법인 Platt scaling이 원시 모델 출력 확률을 신뢰도 점수로 직접 사용하는 것보다 상당한 개선을 제공함을 보였다. 또한, SQL 쿼리의 구조적 특성을 활용하여 더욱 세분화된 정확성 신호를 제공하는 "하위 절 빈도"(SCF) 점수를 제안하고, 기존 Platt scaling을 확장한 다변량 Platt scaling (MPS)을 사용하여 개별 SCF 점수를 결합하여 정확하고 보정된 전체 점수를 생성하는 방법을 제시한다. 두 개의 text-to-SQL 데이터셋에 대한 실험 결과, MPS와 SCF를 결합한 방법이 기존 Platt scaling보다 보정 및 오류 탐지 성능을 향상시킨다는 것을 보여준다.
