Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Generative Data Mining with Longtail-Guided Diffusion

Created by
  • Haebom

作者

David S. Hayden, Mao Ye, Timur Garipov, Gregory P. Meyer, Carl Vondrick, Zhao Chen, Yuning Chai, Eric Wolff, Siddhartha S. Srinivasa

概要

本論文は、展開後の予測モデルが遭遇するさまざまな問題を予測することが困難であることを指摘し、従来の反応的で循環的なアプローチ（モデル展開、データマイニング、再訓練）の代わ​​りに、事前の長期テール発見プロセスを開発します。トレーニング中に追加データを想像することで、一般的なモデルベースの長期テール信号を開発します。これには、モデルパラメータや予測パフォーマンスに影響を与えることなく、まれまたは困難な入力を識別することができる微分可能な単一フォワードフォワード式の認識的不確実性が含まれます。これらの信号を活用して、長期テールガイド（Longtail Guidance、LTG）と呼ばれるプロセスを通じて、潜在拡散モデル（latent diffusion model）から追加のトレーニングデータを生成します。重要なのは、拡散モデルや予測モデルを再訓練することなく、予測モデルを中間拡散状態にさらすことなくLTGを実行できることです。 LTGによって生成されたデータは、意味的に有意な変化を示し、複数の画像分類ベンチマークで大幅な一般化の改善をもたらし、Vision-Language Model（VLM）によって分析され、展開された予測モデルの概念的なギャップを事前に発見し、テキストで説明し、解決することができます。

Takeaways、Limitations

•
Takeaways：
◦
モデル展開後に発生する可能性のある問題を事前に予測して解決できる新しいフレームワークの提示。
◦
既存の反復的な再訓練プロセスなしでモデルの一般化性能を向上させる方法を提示する。
◦
潜在拡散モデルを活用して意味のある追加の訓練データを効率的に生成する方法の提示
◦
VLMを活用してモデルの概念的なギャップを発見し解決するプロセスを自動化。
•
Limitations：
◦
提案された方法の効果が特定の画像分類ベンチマークに限定される可能性。
◦
LTGプロセスで生成されたデータの品質と多様性に関する追加の研究が必要です。
◦
VLMの性能によっては、モデルの概念的なギャップの発見と解決の精度が影響を受ける可能性があります。
◦
さまざまな種類の予測モデルとデータセットの一般化パフォーマンス検証が必要です。
👍
Made with Slashpage