본 논문은 대규모 언어 모델(LLM) 기반 text-to-SQL 시스템의 한계를 극복하기 위해, 실제 시나리오를 모방한 포괄적인 테스트 세트 MMSQL을 제안합니다. 기존 text-to-SQL 시스템이 SQL 생성에만 집중하여 모호한 질문 처리에 어려움을 겪는 문제를 해결하고자, 다양한 질문 유형과 다회차 질의응답 상호작용을 포함하는 MMSQL을 통해 LLM의 질문 분류 및 SQL 생성 능력을 평가합니다. 오픈소스 및 클로즈드소스 모델을 포함한 여러 LLM의 성능을 평가하고, 질문 유형을 식별하고 적절한 응답 전략을 결정하는 전문화된 에이전트를 사용하는 LLM 기반 다중 에이전트 프레임워크를 제시하여 대화의 복잡성을 효과적으로 처리하는 방법을 제시합니다. MMSQL 데이터셋과 코드는 공개적으로 제공됩니다.
