Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection

Created by
  • Haebom

作者

Boyu Han, Qianqian Xu, Shilong Bao, Zhiyong Yang, Sicong Li, Qingming Huang

概要

本論文は、自己中心のビデオデータからユーザの不正確な行動を判断する問題を扱う。微妙で珍しいミスを処理するために、Dual-Stage Reweighted Mixture-of-Experts(DR-MoE)フレームワークを提案します。最初のステップでは、固定ViViTモデルとLoRAにチューニングされたViViTモデルを使用して特徴を抽出し、特徴レベルのエキスパートモジュールを介して組み合わせます。第2段階では、不均衡なクラス問題を軽減するための再重み付きクロスエントロピー、傾斜分布でのランキングを改善するためのAUC損失、および補正と一般化を改善するためのラベル認識損失とシャープネス認識最小化を使用して3つの分類器を訓練します。彼らの予測は分類レベルの専門家モジュールを使用して融合されます。提案された方法は、特にまれで曖昧な間違いを識別するための強力な性能を示す。

Takeaways、Limitations

Takeaways:
DR-MoEフレームワークは、自己中心のビデオデータ内のユーザーの不正確な行動を効果的に識別します。
稀で曖昧な間違い事例の識別に強みを示す。
ViViTモデルとLoRAチューニングを活用して特徴抽出の効率を高めた。
さまざまな損失関数とエキスパートモジュールを使用してパフォーマンスを向上させました。
Limitations:
具体的な実験結果とデータセットに関する情報の欠如。
提案された方法の計算の複雑さに関する情報の欠如
他の既存の方法との比較分析の欠如
👍