Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Middo: Model-Informed Dynamic Data Optimization for Enhanced LLM Fine-Tuning via Closed-Loop Learning

Created by
  • Haebom

作者

Zinan Tang, Xin Gao, Qizhi Pei, Zhuoshi Pan, Mengzhang Cai, Jiang Wu, Conghui He, Lijun Wu

Middo: Self-Evolving Model-Informed Dynamic Data Optimization for LLMs

概要

この論文では、Supervised Fine-Tuning（SFT）大規模言語モデル（LLM）のトレーニングデータを動的に最適化するフレームワークであるMiddoを紹介します。 Middoは、モデルのパフォーマンス向上に合わせてデータを継続的に進化させることを目的としており、モデルの認知データの選択とコンテキスト保存データの改善を活用します。 Tri-axialモデル信号（損失パターン、埋め込みクラスターダイナミクス、自己整合スコア）を介して不適切なサンプルを識別し、適応最適化エンジンを使用して意味論的な整合性を維持しながら改善します。このフレームワークは、データとモデルの動的相互開発を通じて、持続可能なLLMトレーニングのための新しいパラダイムを提示します。実験の結果、Middoは平均7.15％の精度向上を示し、既存のデータセット規模を維持しながらも優れた性能を示しました。

Takeaways、Limitations

•
Takeaways:
◦
LLMトレーニングデータの品質を動的に改善する新しいアプローチの提示
◦
モデルの学習能力に合わせて継続的にデータを最適化するフレームワークの構築。
◦
さまざまなモデル信号を活用してデータの品質を評価し改善します。
◦
データとモデルの相互進化による持続可能なLLMトレーニングの可能性の提示
◦
平均7.15％の精度向上と既存のデータセットの規模を維持。
◦
オープンソースでデータ、モデル、コード公開。
•
Limitations：
◦
具体的な実験ベンチマークとモデル構造に関する詳細情報の欠如
◦
他のデータ最適化法との比較分析の詳細情報の欠如
◦
フレームワークの一般化の可能性とさまざまなLLMアーキテクチャの適用性検証が必要です。
◦
計算の複雑さやトレーニング時間など、実際の適用時に考慮すべき事項に関する情報の欠如。
👍
Made with Slashpage