Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices

Created by
  • Haebom

作者

Yilong Li, Shuai Zhang, Yijing Zeng, Hao Zhang, Xinmiao Xiong, Jingyu Liu, Pan Hu, Suman Banerjee

概要

この論文は、大規模マルチモーダルモデル(LMM)の推論のためのハードウェア - ソフトウェア共同設計フレームワークであるNANOMINDを提示します。 NANOMINDはLMMをモジュール単位で分解し、各モジュールを最適なアクセラレータにマッピングし、現代SoCの異種アクセラレータ(NPU、GPU、DSPなど)を効果的に活用します。これはCPUのボトルネックを解決し、トークン認識バッファ管理とモジュールレベルの調整によって冗長メモリ使用量を削減します。 NANOMINDは高いスループットと電力効率を実現し、ネットワーク接続なしでLMMを実行できる小型バッテリ駆動装置を可能にします。

Takeaways、Limitations

Takeaways:
LMMのモジュール化による異種加速器の活用を最大化
CPUボトルネックとメモリ使用量の削減
バッテリ駆動装置でLMMを実行可能
従来実装に比べエネルギー消費42.3%、GPUメモリ使用量11.2%削減
Limitations:
具体的なハードウェア設計、システムレベルのスケジューリング、最適化された低ビット演算カーネルの詳細情報の欠如
NANOMINDフレームワークの一般化の可能性に関するさらなる研究が必要
特定のLMMモデル(LLaVA-OneVision、LLaMA-3-8B)のパフォーマンス評価に焦点を当てており、他のモデルへの適用性レビューが必要です
👍