本論文では、特定のドメイン操作の微調整のために、多くのオープンソース大規模言語モデル（LLM）の中から最適なモデルを迅速に選択する問題を解決するデータおよびモデル圧縮フレームワーク（DaMoC）を提案します。 DaMoCは、データレベルとモデルレベルの2つの側面で構成されています。データレベルでは、データフィルタリング方法論を分布認識、品質認識、ハイブリッドアプローチの3つのパラダイムに分類し、主要トークンの密度を高めてトークン圧縮を達成し、LLMを使用してテキストを繰り返し書き換えて表現を最適化します。モデルレベルでは、階層類似性スコアを使用して各階層の重要度を評価し、重要度の低い階層を排除し、元のモデルの機能を最大限に保つためにスパースマージパラダイムを導入します。医療Q&A、金融Q&A、一般Q&A、読解理解など、4つのデータセットの広範な実験により、最適なLLMを選択しながらトレーニング時間を約20倍節約できることを示しています。
