Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Spatial Frequency Modulation for Semantic Segmentation

Created by
  • Haebom

作者

Linwei Chen, Ying Fu, Lin Gu, Dezhi Zheng, Jifeng Dai

概要

本論文は、空間高周波情報（微細な質感など）が意味論的分割精度に大きく寄与するが、ナイキスト-シャノン標本化定理に従って、ストライド合成積などのダウンサンプリング層を通過するときに高周波成分がエイリアシングまたは歪むことがあることを指摘する。これを解決するために、ダウンサンプリングの前に高周波特性を低周波に変調し、アップサンプリング中に再度復調する新しい空間周波数変調（SFM）技術を提案する。アダプティブリサンプリング（ARS）を介して変調を実装し、高周波領域を密にサンプリングして信号を拡張し、周波数スケーリング属性に従って周波数を下げる軽量アドオンを設計します。さらに、マルチスケール適応アップサンプリング（MSAU）を提案して、変調された特徴を復調し、非均一アップサンプリングを介して高周波情報を回復する。このモジュールは、複数のスケールで密集領域とまれな再サンプリング領域間の情報相互作用を明示的に活用して分割を改善します。両方のモジュールは、合成積ニューラルネットワークから変圧器まで、さまざまなアーキテクチャとシームレスに統合できます。特徴の可視化と分析によって、提案された方法はエイリアシングを効果的に軽減し、復調後も詳細を正常に維持することを確認します。最後に,画像分類,敵対的堅牢性,インスタンス分割,パノラマ分割作業に拡張し,SFMの広範な適用性と効果を検証した。コードはhttps://github.com/Linwei-Chen/SFMで確認できます。

Takeaways、Limitations

•
Takeaways：
◦
ダウンサンプリング過程で発生する高周波情報損失問題を効果的に解決する新しいSFM技術の提示
◦
適応型リサンプリング（ARS）とマルチスケール適応型アップサンプリング（MSAU）モジュールを介して高周波情報のエイリアシングと歪みを減らし、詳細を保存します。
◦
さまざまなアーキテクチャ（CNN、Transformer）との互換性により、幅広い適用可能性を確保。
◦
画像分類、敵対的な堅牢性、インスタンス分割、パノラマ分割など、さまざまなタスクでパフォーマンスの向上を実証。
•
Limitations：
◦
提案された方法の計算コストとメモリ使用量の詳細な分析の欠如
◦
さまざまなデータセットの実験結果が限られている可能性があります。
◦
ARSおよびMSAUモジュールのハイパーパラメータ最適化の詳細な説明の欠如
👍
Made with Slashpage