Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

nvBench 2.0: Resolving Ambiguity in Text-to-Visualization through Stepwise Reasoning

Created by
  • Haebom

저자

Tianqi Luo, Chuhan Huang, Leixian Shen, Boyan Li, Shuyu Shen, Wei Zeng, Nan Tang, Yuyu Luo

개요

자연어 질의를 통해 시각화를 생성하는 Text-to-Visualization (Text2VIS)은 데이터 통찰력에 대한 접근성을 높이지만, 모호한 질의 해석에 어려움을 겪습니다. 본 논문에서는 모호한 질의를 포함하는 시나리오에서 Text2VIS 시스템을 평가하기 위해 새로운 벤치마크인 nBench 2.0을 제시합니다. nBench 2.0은 153개 도메인의 780개 테이블에서 파생된 7,878개의 자연어 질의와 24,076개의 해당 시각화를 포함하며, 제어된 모호성 주입 파이프라인을 사용하여 생성됩니다. 이 파이프라인은 명확한 시각화를 시작점으로 하여 모호성을 선택적으로 주입함으로써 각 질의에 대해 여러 가지 유효한 해석을 생성하며, 각 모호한 질의는 단계별 추론 경로를 통해 해당 시각화와 추적 가능합니다. 본 논문에서는 여러 대규모 언어 모델(LLM)을 nBench 2.0을 사용하여 모호한 Text2VIS 작업 수행 능력을 평가하고, 단계별 선호도 최적화를 통해 모호한 시나리오에서 성능을 향상시키는 LLM 기반 모델인 Step-Text2Vis를 제안합니다. 실험 결과, Step-Text2Vis는 모든 기준 모델을 능가하여 모호한 Text2VIS 작업에 대한 새로운 최첨단 기술을 제시합니다. 소스 코드와 데이터는 https://nvbench2.github.io/ 에서 제공됩니다.

시사점, 한계점

•
시사점:
◦
모호한 자연어 질의를 처리하는 Text2VIS 시스템 평가를 위한 새로운 벤치마크인 nBench 2.0 제시.
◦
모호한 질의에 대한 여러 유효한 해석을 제공하는 모호성 주입 파이프라인 개발.
◦
모호한 Text2VIS 작업에서 기존 방법보다 우수한 성능을 보이는 Step-Text2Vis 모델 제안.
◦
Text2VIS 분야의 연구 발전에 기여하는 새로운 최첨단 기술 제시.
◦
공개된 데이터셋과 소스 코드를 통해 향후 연구에 기여.
•
한계점:
◦
nBench 2.0의 모호성 주입 방식이 모든 유형의 모호성을 완벽하게 포착하지 못할 수 있음.
◦
Step-Text2Vis 모델의 성능이 특정 유형의 모호성에 치우쳐 있을 가능성.
◦
실제 사용자의 질의 다양성을 완벽히 반영하지 못할 가능성.
◦
다른 언어나 도메인으로의 일반화 성능에 대한 추가적인 연구 필요.
👍
Made with Slashpage