Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

On the Robustness of Language Models for Tabular Question Answering

Created by
  • Haebom
Category
Empty

저자

Kushal Raj Bhandari, Sixue Xing, Soham Dan, Jianxi Gao

개요

본 논문은 사전 훈련 없이 표 데이터 이해 작업을 수행하는 대규모 언어 모델(LLM)의 능력을 평가한다. Wikipedia 기반 WTQ, 재무 보고서 기반 TAT-QA, 과학적 주장 기반 SCITAB 등 세 가지 TQA(Tabular Question Answering) 데이터셋을 사용하여 문맥 학습, 모델 규모, 지시어 튜닝, 도메인 편향의 영향을 분석했다. 실험 결과, 지시어가 성능 향상에 크게 기여하며 최신 모델이 이전 버전보다 견고함을 보였지만, 특히 WTQ에서 데이터 오염 및 실질적 신뢰성 문제가 지속됨을 확인했다. 더 나은 신뢰성을 위해 구조 인식 자기 주의 메커니즘과 도메인 특정 표 데이터 처리 개선의 필요성을 강조한다.

시사점, 한계점

시사점:
지시어 튜닝이 LLM의 표 데이터 이해 능력 향상에 중요한 역할을 한다.
최신 LLM은 이전 버전보다 표 데이터 이해 작업에서 더욱 견고한 성능을 보인다.
한계점:
WTQ 데이터셋에서 데이터 오염 및 실질적 신뢰성 문제가 지속된다.
도메인 특정 표 데이터에 대한 LLM의 취약성이 존재한다.
구조 인식 자기 주의 메커니즘 및 도메인 특정 표 데이터 처리 개선이 필요하다.
👍