Can LLMs Narrate Tabular Data? An Evaluation Framework for Natural Language Representations of Text-to-SQL System Outputs
Created by
Haebom
저자
Jyotika Singh, Weiyi Sun, Amit Agarwal, Viji Krishnamurthy, Yassine Benajiba, Sujith Ravi, Dan Roth
개요
본 논문은 대화형 에이전트와 같은 현대 산업 시스템에서 텍스트-SQL 기술을 활용하여 자연어 질문과 데이터베이스 쿼리를 연결하고, 표 형식 데이터베이스 결과를 자연어 표현(NLR)으로 변환하는 과정을 다룬다. 특히, 대규모 언어 모델(LLM)을 활용한 NLR 생성 시 정보 손실 및 오류 문제를 해결하기 위해, 여러 기존 평가 방법의 장점을 결합한 새로운 평가 방법인 Combo-Eval을 제안한다. 또한, NLR 벤치마킹을 위한 전용 데이터셋인 NLR-BIRD를 소개하며, Combo-Eval의 인간 판단과의 높은 일치성을 입증한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 NLR 생성의 정확도 및 효율성 향상을 위한 새로운 평가 방법론(Combo-Eval) 제시.
