Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Self-Questioning Language Models

Created by
  • Haebom

作者

Lili Chen, Mihir Prabhudesai, Katerina Fragkiadaki, Hao Liu, Deepak Pathak

概要

この論文では、事前訓練された言語モデルが外部データなしで独自に質問と回答を生成して推論能力を向上させることができるかどうかを研究します。この目的のために提案されたSelf-Questioning Language Models(SQLM)は非対称の自己学習フレームワークです。提案者と解決者は強化学習を通じて訓練され、提案者は適切な難易度の問題を生成したときに報酬を受け取り、解決者は多数決投票で正解かどうかを判断して報酬を受け取ります。コーディング問題の場合、提案者は単体テストを生成し、それを検証に使用します。 3桁の数値乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題など、3つのベンチマークで実験を行い、外部データなしで言語モデルがパフォーマンスを向上できることを示しています。

Takeaways、Limitations

Takeaways:
外部データなしで言語モデルの推論能力を向上させる可能性を提示
自己学習ベースの新しい言語モデル学習フレームワークの提案
さまざまな問題の種類(数学、プログラミング)に適用可能性を確認する
データ不足環境における言語モデル学習方向の提示
Limitations:
多数決投票を正解判断基準とする点で、正確性に関する疑問の存在
複雑で多様な問題タイプの一般化性能検証が必要
自己生成された問題の質と多様性のさらなる分析の必要性
大規模データセットを使用した実験結果と比較分析が必要
👍