每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

Any-to-Bokeh：利用视频扩散模型对任意主体视频进行重新聚焦

Created by
  • Haebom

作者

杨阳、郑思明、杨其瑞、陈金伟、吴伯熙、何晓飞、蔡登、李波、蒋鹏涛

大纲

本文提出了一种基于深度学习的视频散景渲染新框架。为了解决现有基于图像的方法存在的时间闪烁问题，以及视频编辑方法中对焦平面和散景强度控制不足的问题，我们开发了一个一步式扩散框架，用于实现时间一致且具有深度感知的视频散景渲染。该框架使用焦平面自适应的多平面图像 (MPI) 表示来调节视频扩散模型，并利用来自预训练主干网络的稳健 3D 信息。我们采用增量训练策略来确保时间稳定性、深度稳健性和细节保留。在模拟和真实世界的基准实验中，我们展示了卓越的时间一致性、空间准确性和可控性，超越了现有的基准方法。

Takeaways, Limitations

•
Takeaways：
◦
通过提高时间一致性、空间准确性和可控性，为视频散景生成设定了新标准。
◦
开发一个能够控制焦平面和散景强度的框架。
◦
通过多平面图像 (MPI) 表示和扩散模型的组合来利用 3D 信息。
◦
通过渐进式训练策略提高绩效
•
Limitations：
◦
论文中没有具体提及Limitations。
👍
Made with Slashpage