Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting

Created by
  • Haebom

作者

Fei Ding, Baiqiao Wang

概要

この論文は、オープンソース大規模言語モデル（LLM）の指示に従う能力を向上させるための地図微調整（SFT）法で発生するカタストロフィックforgetting問題を解決する新しい方法を提供します。既存のSFTデータにアクセスせずに、基本モデルの指示分布を再構成し、マルチモデル生成およびフィルタリングパイプラインを介して高品質の汎用データセットを合成します。この合成データセットを新しいドメイン特化データと混合して微調整することで、一般ドメインでの性能低下を起こさずに特定の作業性能を向上させることを実験的に確認しました。

Takeaways、Limitations

•
Takeaways：
◦
既存のSFTデータへのアクセスなしでカタストロフィックforgetting問題を効果的に軽減する新しいSFT方法を提示します。
◦
合成データセットを活用して、コスト効率の高いLLMのパフォーマンスを向上させることができます。
◦
一般的なドメインのパフォーマンスを維持し、特定のタスクのパフォーマンスを向上させる同時に達成。
◦
オープンソースLLMの実用性を高める可能性を提示。
•
Limitations：
◦
合成データセットの品質は、実際のデータセットと比較して低い可能性があります。
◦
提案された方法の一般化性能のさらなる検証が必要である。
◦
特定のドメインおよびモデルに対する依存性の存在可能性
◦
合成データ生成プロセスの複雑さと計算コスト
👍
Made with Slashpage