Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Towards a Unified View of Large Language Model Post-Training

Created by
  • Haebom

作者

Xingtai Lv, Yuxin Zuo, Youbang Sun, Hongyi Liu, Yuntian Wei, Zhekai Chen, Lixuan He, Xuekai Zhu, Kaiyan Zhang, Bingning Wang, Ning Ding, Bowen Zhou

概要

この論文では、事後学習現代言語モデルの2つの主要なトレーニングデータソースであるオンラインデータ（モデル生成ロールアウト）とオフラインデータ（人間または他のモデルのデモ）について説明します。強化学習（RL）や地図微調整（SFT）などのアプローチでは、それぞれこれら2種類のデータを使用します。本論文は,これらのアプローチが矛盾するのではなく,単一の最適化プロセスのインスタンスであることを示した。統合政策勾配推定器を導き出し、さまざまなデータ分布仮定とさまざまな偏向 - 分散妥協の下での共通目標の勾配として広範な事後学習アプローチの計算を提示します。この勾配推定器は、安定化マスク、基準方針分母、利点推定、および可能性勾配の４つの交換可能な部分から構成される。理論的発見に基づいて、この論文はトレーニング信号を動的に選択するアルゴリズムであるハイブリッドポスト学習（HPT）を提案します。 HPTは、学習された推論パターンを犠牲にすることなく、デモの効果的な活用と安定したナビゲーションの両方を提供するように設計されています。この論文は、統合理論的フレームワークとHPTの効果を検証するための広範な実験とアブレーション研究を提供します。 6つの数学的推論のベンチマークと2つの分布外集合では、HPTはさまざまな規模とシリーズのモデルから強力な基準モデルを一貫して超えています。

Takeaways、Limitations

•
Takeaways:
◦
事後学習アプローチ（RL、SFTなど）を統合する単一の最適化フレームワークを提示し、理論的理解を高めました。
◦
デモの活用と安定した探索を同時に達成する効果的なハイブリッド事後学習（HPT）アルゴリズムを提案しました。
◦
さまざまなベンチマークでHPTの優れた性能を実験的に検証しました。
◦
モデルの規模や系列に関わらず、一貫した性能向上を示した。
•
Limitations:
◦
提案されたHPTアルゴリズムの最適パラメータ設定に関するさらなる研究が必要になるかもしれません。
◦
さまざまな種類の言語モデルとタスクの一般化パフォーマンスをさらに検証する必要があります。
◦
HPTの計算コストと効率の詳細な分析が必要な場合があります。
👍
Made with Slashpage