Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models

Created by
  • Haebom

作者

Yi Liu, Dianqing Liu, Mingye Zhu, Junbo Guo, Yongdong Zhang, Zhendong Mao

概要

大規模言語モデル（LLM）の幅広い採用により、高品質およびカスタマイズされた出力に対するニーズが高まっていますが、従来のソート方式では大規模な事前訓練モデルを再訓練する必要がありませんでした。本論文では、この制限を解決するために、重要度サンプリングの一種としてソートプロセスを策定する新しい残差ソートモデル（RAM）を提案します。このフレームワークでは、ソートされていない親モデルは提案分布として機能し、ソートプロセスは、重要度重みの推定値として機能する自動回帰ソートモジュールに基づく2次サンプリングで構成されます。 RAMは、アライメントモジュールをターゲットアライメントモデルから分離し、柔軟性とスケーラビリティを向上させます。さらに、提案モジュールとは独立して動作するアライメントモジュールのための効率的なシーケンスレベルトレーニング戦略と、同様の方法で一般的に発生する最初のトークン遅延問題を解決するための反復トークンレベル復号を使用したリサンプリングアルゴリズムを開発した。様々な作業における2つの主要なオープンソースLLMの実験評価の結果、提案されたアプローチは基準モデルより一貫して優れた性能を示した。

Takeaways、Limitations

•
Takeaways：
◦
LLMアライメントのための新しいアプローチであるRAMの提示：重要度サンプリングベース。
◦
アライメントモジュールとターゲットモデルの分離による柔軟性とスケーラビリティの向上
◦
効率的なシーケンスレベルトレーニング戦略の開発
◦
最初のトークン遅延問題を解決するためのリサンプリングアルゴリズムの開発。
◦
様々な作業で基準モデルより優れた性能を実証。
•
Limitations：
◦
論文に記載されているLimitationsはありません。
👍
Made with Slashpage