본 논문은 대규모 언어 모델(LLM) 기반의 text-to-SQL 파싱에서 신뢰할 수 있는 불확실성 측정을 제공하는 문제를 다룬다. LLM은 높은 정확도를 보이지만 때때로 자신 있게 잘못된 결과를 출력하는 예측 못한 실패를 보인다는 점을 지적하며, 출력 쿼리가 정확할 가능성을 나타내는 보정된 신뢰도 점수를 제공하는 방법을 연구한다. 기존의 Platt scaling 기법을 개선하여, SQL 쿼리의 구조적 특성을 활용한 "sub-clause frequency" (SCF) 점수를 도입하고, 다변량 Platt scaling (MPS)을 통해 개별 SCF 점수를 결합하여 정확하고 보정된 전체 점수를 생성한다. 두 개의 text-to-SQL 데이터셋에 대한 실험 결과, MPS와 SCF를 결합하는 접근 방식이 기존의 Platt scaling보다 보정 및 오류 탐지 성능을 향상시킨다는 것을 보여준다. 본 논문은 LLM 기반 text-to-SQL 파싱의 사후 보정에 대한 벤치마크를 최초로 제시한다.
