Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

ST-Raptor: LLM-Powered Semi-Structured Table Question Answering

Created by
  • Haebom

作者

Zirui Tang, Boyu Niu, Xuanhe Zhou, Boxiu Li, Wei Zhou, Jiannan Wang, Guoliang Li, Xinyi Zhang, Fan Wu

概要

本稿では、実世界のアプリケーションで広く使用されている半整形テーブルのクエリ応答を自動化する新しいフレームワークであるST-Raptorを提案します。半整形テーブルは階層ヘッダとマージされたセルなどの複雑なレイアウトを持っているため、従来のNL2SQL、NL2Code、マルチモーダルLLM QA方式では正確なクエリ応答が困難です。 ST-Raptorは階層的な直交ツリー(HO-Tree)を使用して複雑なレイアウトを表現し、基本的なツリー操作を介してLLMに質問を処理させます。ユーザーの質問を下位の質問に分割し、ツリー演算パイプラインを作成し、正確なパイプライン実行のために演算テーブルのソートを実行します。また、前方検証と後方検証により結果の精度を高めます。 102の実際の半整形テーブルと764の質問で構成された新しいデータセットSSTQAを提示し、パフォーマンスを評価し、従来の方法よりも最大20%の精度を達成しました。

Takeaways、Limitations

Takeaways:
半定型テーブルのクエリ応答問題に対する効果的なアプローチを提示する。
複雑なテーブルレイアウトを効果的に処理するHO-Treeモデルとツリー演算ベースのフレームワークを提案します。
2段階の検証メカニズムを介して応答の信頼性を向上させます。
新しいベンチマークデータセットSSTQAを提供します。
従来の方法と比較して最大20%の精度が向上しました。
Limitations:
SSTQAデータセットの規模が比較的小さい場合があります。
HO-Treeモデルは、あらゆるタイプの半整形テーブルレイアウトを完全に捉えることができない可能性があります。
LLMの性能に依存し、LLMの限界がST-Raptorの性能に影響を与える可能性があります。
さまざまな種類の質問の一般化パフォーマンスをさらに検証する必要があります。
👍