Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Forget the Data and Fine-Tuning! Just Fold the Network to Compress

Created by
  • Haebom

作者

Dong Wang, Haris \v{S}iki c, Lothar Thiele, Olga Saukh

概要

本稿では、データのない新しいモデル圧縮技術であるモデル折りたたみを提案します。この手法は、階層間の構造的に類似したニューロンをマージし、微調整やトレーニングデータへのアクセスなしにモデルサイズを大幅に削減します。従来の方法とは異なり、K-meansクラスタリングを活用し、分散の崩壊や爆発を防ぐための新しいデータレス技術を使用して、圧縮中にデータ統計を保存します。 ResNet18とLLaMA-7Bを含む標準的なベンチマークの理論的なフレームワークと実験は、モデルの折りたたみがデータベースの圧縮技術と同様のパフォーマンスを達成し、特に高いスパース性レベルで最近提案されたデータなしの方法よりもパフォーマンスが優れていることを示しています。この方法は大規模モデル圧縮に特に有効であるため、リソース制約環境での展開に適しています。

Takeaways、Limitations

Takeaways:
データなしでモデル圧縮が可能な新しい方法を提示
従来のデータレス方式より高いスパース性レベルで優れた性能
大規模モデル圧縮に効果的でリソース制約環境に適
K-meansクラスタリングを活用したデータ統計の保存
Limitations:
提示された方法の一般化性能に関するさらなる研究の必要性
さまざまなモデルアーキテクチャとデータセットの追加実験が必要
K-meansクラスタリングのパラメータ設定の感度分析が必要
👍