Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Dense Video Understanding with Gated Residual Tokenization

Created by
  • Haebom

作者

Haichao Zhang, Wenhao Chai, Shwai He, Ang Li, Yun Fu

概要

この論文では、高解像度ビデオを理解するための新しい方法であるDense Video Understanding（DVU）と、それに合った新しいベンチマークであるDIVE（Dense Information Video Evaluation）を紹介します。従来のビデオ大規模言語モデル（VLLM）は、低フレームレートのサンプリングにより細かい時間情報を見逃す制限がありました。 GRTは動き補償を使用して静的領域のトークン化をスキップし（Motion-Compensated Inter-Gated Tokenization）、静的領域内でトークンをマージして（Semantic-Scene Intra-Tokenization Merging）効率を高めます。 DIVEベンチマークは、GRTが従来のVLLMよりも優れており、フレームレートが増加するにつれてパフォーマンスが向上することを示しています。

Takeaways、Limitations

•
Takeaways：
◦
高フレームレートのビデオを理解するための効率的な方法であるDVUとGRTの提示
◦
高密度時間的推論のための新しいベンチマークDIVE提案
◦
既存のVLLMのLimitationsである低フレームレートサンプリングのトラブルシューティング
◦
フレームレートの増加に伴って性能が直線的に増加するスケーラブルなモデルを提示
•
Limitations：
◦
DIVEベンチマークはまだ初期段階であり、さらにさまざまなビデオデータと課題を含むように拡張する必要があります。
◦
GRTのパフォーマンス向上が特定の種類のビデオデータに偏っている可能性があります。
◦
現在提示されているGRTの計算量削減効率があらゆる種類のビデオに一定に適用されることをさらに検討する必要がある。
👍
Made with Slashpage