Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Exploring the Robustness of Language Models for Tabular Question Answering via Attention Analysis

Created by
  • Haebom

저자

Kushal Raj Bhandari, Sixue Xing, Soham Dan, Jianxi Gao

개요

본 논문은 사전 훈련 없이 표 데이터 이해 작업을 수행하는 대규모 언어 모델(LLM)의 성능을 다양한 데이터셋(WTQ, TAT-QA, SCITAB)과 증강/변형 기법을 활용하여 평가합니다. 문맥 내 학습(ICL), 모델 규모, 지시어 튜닝, 도메인 편향이 표 질의응답(TQA)의 강건성에 미치는 영향을 분석하며, 지시어 튜닝과 대규모 최신 LLM이 더 강력하고 강건한 TQA 성능을 제공하지만, 특히 WTQ에서 데이터 오염 및 신뢰성 문제는 해결되지 않음을 보여줍니다. 주의 분석을 통해 성능 저하와 주의 분산 변화 간의 상관관계를 밝히고, 더 신뢰할 수 있는 LLM 개발을 위해 해석 가능한 방법론의 개선 필요성을 강조합니다.

시사점, 한계점

시사점:
LLM의 규모와 지시어 튜닝이 표 데이터 이해 성능 향상에 기여함을 확인.
주의 메커니즘 분석을 통해 성능 저하 원인에 대한 통찰력 제공.
더욱 신뢰할 수 있고 해석 가능한 LLM 개발의 필요성 제기.
한계점:
WTQ 데이터셋에서 데이터 오염 및 신뢰성 문제가 여전히 존재.
모델의 해석 가능성 향상을 위한 추가 연구 필요.
👍