Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Exploring the Robustness of Language Models for Tabular Question Answering via Attention Analysis

Created by
  • Haebom

作者

Kushal Raj Bhandari, Sixue Xing, Soham Dan, Jianxi Gao

概要

本論文は、さまざまな非構造的なテキスト理解作業で優れた性能を示す大規模言語モデル(LLM)が、特別な訓練なしに表(構造的)理解作業を実行できるという事実に基づいて研究を進めました。研究では、さまざまな拡張と摂動の下でWikipediaベースのWTQ、ファイナンスTAT-QA、科学SCITABなど、さまざまなドメインでLLMをテストし、コンテキスト内学習(ICL)、モデル規模、ディレクティブチューニング、ドメインバイアスが表形式クエリ応答(TQA)の堅牢性に与える影響を調べました。ディレクティブチューニングとより大きく、最新のLLMは、より強力で堅牢なTQAパフォーマンスを提供しますが、特にWTQでは、データ汚染と信頼性の問題は未解決のままです。深いアテンション分析により、摂動によるアテンション分散の変化と性能低下との間に強い相関関係があることを明らかにし、感度はモデルの中間層で最高潮に達した。表データに対するLLMの透明性、一般化、および実世界の信頼性を向上させるために、構造認識磁気アテンション機構とドメイン適応処理技術の開発の必要性を強調する。

Takeaways、Limitations

Takeaways:
ディレクティブのチューニングと、より大きく最新のLLMが、表形式のクエリ応答(TQA)のパフォーマンス向上と堅牢性の向上に貢献します。
摂動によるアテンション分散変化と性能低下との強い相関関係を明らかにする。モデル中間層で感度が最も高い。
構造認識磁気アテンション機構とドメイン適応処理技術の開発の必要性を提示
Limitations:
WTQを含む一部のデータセットでは、データ汚染と信頼性の問題が依然として存在します。
より改良された解釈可能な方法論によるLLM信頼性の向上の必要性の提起
👍