대규모 언어 모델(LLM)이 일반 데이터베이스 내에서 자연어-SQL(NL2SQL) 작업에서 강력한 성능을 보였지만, GeoSQL로 확장하는 것은 공간 데이터 유형, 함수 호출 및 좌표 시스템으로 인해 추가적인 복잡성이 발생하여 생성 및 실행 난이도를 크게 증가시킨다. 이 문제를 해결하기 위해, PostGIS 쿼리 생성을 위한 최초의 종단 간 자동 평가 프레임워크인 GeoSQL-Eval과 NL2GeoSQL 작업에서 LLM 성능을 평가하기 위한 벤치마크인 GeoSQL-Bench를 제시한다. GeoSQL-Bench는 개념 이해, 구문 수준 SQL 생성 및 스키마 검색의 세 가지 작업 범주를 정의하며, 14,178개의 인스턴스, 340개의 PostGIS 함수 및 82개의 테마 데이터베이스로 구성된다. GeoSQL-Eval은 Webb의 지식 깊이(DOK) 모델을 기반으로 하며, 지식 습득 및 구문 생성부터 의미 정렬, 실행 정확성 및 견고성에 이르는 포괄적인 프로세스를 구축하기 위해 4가지 인지 차원, 5가지 능력 수준 및 20가지 작업 유형을 다룬다. 24개의 대표적인 모델을 6가지 범주로 평가하고, 엔트로피 가중치 방법을 적용하여 통계 분석을 통해 성능 차이, 일반적인 오류 패턴 및 리소스 사용량을 밝혀낸다. 마지막으로 지속적인 테스트 및 글로벌 비교를 위한 공개 GeoSQL-Eval 리더보드 플랫폼을 출시한다.
