Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

ArtRAG: Retrieval-Augmented Generation with Structured Context for Visual Art Understanding

Created by
  • Haebom

作者

Shuai Wang, Ivona Najdenkoska, Hongyi Zhu, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

概要

この論文では、さまざまな視点（文化的、歴史的、スタイル的）を考慮してアート作品を理解するための新しいフレームワークであるArtRAGを提案します。既存のマルチモーダル大規模言語モデル（MLLM）がアートワークの解釈のニュアンスを適切に捉えることができない限界を克服するために、ArtRAGはドメイン固有のテキストソースから自動生成されたアートコンテキスト知識グラフ（ACKG）を利用します。 ACKGは、アーティスト、エクササイズ、トピック、歴史的出来事などのエンティティを解釈可能なグラフで構成し、多粒子構造化検索器を介して関連サブグラフを選択し、MLLMの生成を案内します。 SemArtとArtpediaデータセットの実験の結果、ArtRAGは既存のモデルを上回る性能を示し、人間の評価によって一貫性のある洞察力と文化的に豊富な解釈を生成することが確認されました。

Takeaways、Limitations

•
Takeaways：
◦
ドメイン特化知識グラフを活用して美術作品に対する様々な視点の解釈を可能にする。
◦
既存MLLMの限界を克服し、より豊かで正確な美術作品の説明を生成。
◦
トレーニングなしの知識グラフとRAGを組み合わせた新しいアプローチを提示します。
◦
SemArtおよびArtpediaデータセットの既存モデルと比較して優れた性能検証
•
Limitations：
◦
ACKGの生成に使用されるドメイン固有のテキストソースの品質と量によっては、パフォーマンスが影響を受ける可能性があります。
◦
特定の芸術作品やスタイルの作品の説明を作成する能力は、データセットの偏りに依存する可能性があります。
◦
視覚情報自体を直接利用することなく、テキスト情報に依存する点が限界として作用することができる。
◦
人間評価の主観性が結果に影響を与える可能性がある。
👍
Made with Slashpage