Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

SLTNet: Efficient Event-based Semantic Segmentation with Spike-driven Lightweight Transformer-based Networks

Created by
  • Haebom

作者

Xianlei Long, Xiaxin Zhu, Fangming Guo, Wanyi Zhang, Qingyi Gu, Chao Chen, Fuqiang Gu

概要

この論文は、イベントベースのカメラの利点(高ダイナミックレンジ、低遅延、低消費電力)を活用して、自律走行およびロボット工学の分野におけるイベントベースのセマンティックスプリットの可能性を高く評価します。従来のANNベースの分割方法は、高い計算要件、画像フレーム要件、多くのエネルギー消費などの問題を抱えているため、リソース制約のあるエッジ/モバイルプラットフォームでの効率と適用に制限があります。これを解決するために、論文はイベントベースのセマンティックスプリットのために設計された軽量化されたスパイクベースのトランスフォーマーネットワークであるSLTNetを提示します。 SLTNetは、効率的なスパイクベースの合成積ブロック(SCB)に基づいてモデルパラメータを減らしながら豊富なセマンティクスを抽出し、スパイクベースのトランスフォーマブロック(STB)とバイナリマスク操作を介して長距離コンテキストの特徴相互作用を向上させます。 DDD17とDSEC-Semanticデータセットの広範な実験により、SLTNetは最先端のSNNベースの方法よりも最大9.06%および9.39%のmIoU向上を示し、エネルギー消費は4.58倍低く、推論速度は114 FPSであることを示しています。ソースコードは公開されています。

Takeaways、Limitations

Takeaways:
イベントベースカメラを用いた効率的なセマンティックセグメンテーション法の提示
軽量化されたスパイクベースのネットワーク(SLTNet)によるエネルギー効率と推論速度の向上
最先端のSNNベースの方法に対するパフォーマンスの向上(mIoUベースで最大9.06%および9.39%向上)
オープンソースコード開示による研究拡張可能性の提示
Limitations:
提示された方法の一般化性能の追加検証が必要
さまざまなイベントカメラセンサーとデータセットの実験結果を追加する必要があります
実際の自律走行とロボットシステムの適用と性能評価が必要
👍