Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

EvoP: Robust LLM Inference via Evolutionary Pruning

Created by
  • Haebom

作者

Shangyu Wu, Hongchao Du, Ying Xiong, Shuai Chen, Tei-wei Kuo, Nan Guan, Chun Jason Xue

概要

本稿では、リソース制約環境における大規模言語モデル(LLM)展開の問題を解決するための進化的剪定フレームワークであるEvoPを提案します。既存のモデル剪定方法のヒューリスティック戦略とデータ特性の無視の問題を克服するために、EvoPは、さまざまな校正データセットを生成するクラスタベースの校正データセットサンプリング(CCDS)戦略と、最適な剪定パターンを見つける進化的剪定パターン探索(EPPS)方法を提示します。さまざまなLLMとサブタスクの実験を通じてEvoPの有効性を検証し、実際のアプリケーションにLLMを展開するための実用的でスケーラブルなソリューションであることを示しています。

Takeaways、Limitations

Takeaways:
従来のヒューリスティックLLM剪定方法のパフォーマンス低下の問題を解決しました。
データ特性を考慮して、より効率的でパフォーマンスの良い剪定を可能にしました。
さまざまなLLMとサブタスクで優れたパフォーマンスと効率を達成しました。
実際のアプリケーションにLLMを展開するための実用的なソリューションを提供します。
Limitations:
EvoPのパフォーマンス向上が特定のデータセットまたはLLMに偏っている可能性があります。
EPPSアルゴリズムの計算複雑度が高い場合がある。
様々なハードウェアプラットフォームでの一般化性能のさらなる研究が必要である。
👍