Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MAC-Tuning: LLM Multi-Compositional Problem Reasoning with Enhanced Knowledge Boundary Awareness

Created by
  • Haebom

作者

Junsheng Huang (May), Zhitao He (May), Yucheng Huang (May), Sandeep Polisetty (May), Qingyun Wang (May), Yi. R(メイ)、フン

概要

本論文は、さまざまな用途で広く使用されている大規模言語モデル(LLM)の架空の事実生成問題を解決するための新しい方法を提示します。既存の研究は、モデルの内部パラメータ化された知識境界を分析して信頼性を推定することに焦点を当てていましたが、単一の問題設定に限定されました。本稿では、複数の質問に同時に正確に答える必要がある、より困難な複数の問題を設定するための新しい方法であるMAC-Tuning(Multiple Answers and Confidence Stepwise Tuning)を提案する。 MAC-Tuningは、指示データの微調整の過程で、回答予測と信頼度推定学習を分離します。広範な実験は、提案された方法が従来の方法よりも平均精度で最大25%向上することを示しています。

Takeaways、Limitations

Takeaways:マルチ問題設定におけるLLMのフィクションファクト生成問題を解決する効果的な方法であるMAC-Tuningを提示します。従来の方法と比較して平均精度を大幅に向上させます。回答予測と信頼度推定を分離学習するアプローチの有効性を実証
Limitations:この論文で提示されているMAC-Tuningのパフォーマンスの向上が特定のデータセットまたは問題の種類に限定される可能性。さまざまなLLMアーキテクチャとデータセットの追加実験が必要です。多重問題設定における信頼度推定の精度のより深い分析が必要です。
👍