[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

AIvaluateXR: An Evaluation Framework for on-Device AI in XR with Benchmarking Results

Created by
  • Haebom

作者

Dawar Khan, Xinyu Liu, Omar Mena, Donggang Jia, Alexandre Kouyoumdjian, Ivan Viola

概要

本論文では、拡張現実(XR)機器で大規模言語モデル(LLM)を展開するための包括的な評価フレームワークであるAIvaluateXRを提示します。測定しました。 文字列の長さ、バッチサイズ、スレッド数を変更し、各モデル-機器の組み合わせ(68個)の性能を評価し、リアルタイムXRアプリケーションのためのトレードオフを分析しました。展開のための将来の最適化努力導くための貴重な洞察を提供し、この評価方法は、この新興分野のさらなる研究開発のための標準ベースとして使用することができます。

Takeaways、Limitations

Takeaways:
XRデバイスでLLMを展開するための包括的な評価フレームワークAIvaluateXRを提供します。
さまざまなXR機器とLLMの実験的評価結果を提示し、最適な機器とモデルの組み合わせの選択に関する洞察を提供します。
オンデバイスLLM、クライアントサーバー、クラウドベースの設定の効率比較により、実用的な展開戦略の選択に役立ちます。
3Dパレート最適性理論ベースの統合評価方法は、今後の研究の標準ベースとして活用することができます。
Limitations:
評価に使用されるLLMとXR機器の種類が制限される場合があります。より多様なモデルや機器を含むさらなる研究が必要です。
評価指標は、性能、速度、メモリ、バッテリ消費量に限定されています。ユーザーエクスペリエンス、遅延時間など、他の重要な要因の検討が不十分な場合があります。
特定のXRアプリケーション用に最適化されたLLMを選択するための具体的なガイドラインがない場合があります。
実際の使用環境の複雑さを完全に反映できない場合があります。
👍