每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

FrameMind：通过强化学习进行帧交错视频推理

Created by
  • Haebom

作者

葛浩南、王一伟、张凯伟、吴航、蔡玉君

FrameMind：基于帧交错推理的动态视频理解

大纲

本文介绍了 FrameMind，这是一个利用强化学习动态请求视觉信息的框架，旨在克服现有依赖固定帧采样策略的视频理解模型的局限性。FrameMind 通过帧交错思维链 (FiCOT) 在文本推理和主动视觉识别之间交替进行，并使用动态分辨率帧采样 (DRFS) 和 DRFS-GRPO 算法进行训练。该方法在 MLVU 和 VideoMME 等基准测试中的表现优于现有模型。

Takeaways, Limitations

•
Takeaways：
◦
通过动态视觉信息请求增强视频理解模型的灵活性和效率。
◦
通过 FiCOT 方法改善文本推理和视觉识别之间的交互。
◦
使用 DRFS 和 DRFS-GRPO 训练有效的动态采样策略。
◦
在 MLVU 和 VideoMME 基准测试中取得了 SOTA。
•
Limitations：
◦
DRFS 和 DRFS-GRPO 的复杂性和计算成本。
◦
FiCOT 和动态采样的普遍性。
◦
需要对其他类型的视频理解任务进行性能评估。
👍
Made with Slashpage