Does AI See like Art Historians? Interpreting How Vision Language Models Recognize Artistic Style

작성자

Haebom

카테고리

Empty

저자

Marvin Limpijankit, Milad Alshomary, Yassin Oulad Daoud, Amith Ananthram, Tim Trombley, Emily L. Spratt, Anna Filonenko, Hannah Pivo, Elias Stengel-Eskin, Mohit Bansal, Noam M. Elcott, Kathleen McKeown

💡 개요

본 연구는 Vision-Language Models (VLMs)가 예술 작품의 스타일을 인식하는 메커니즘을 예술 사학자들의 관점에서 분석합니다. 잠재 공간 분해 기법을 활용하여 VLM이 스타일 예측에 사용하는 핵심 개념들을 식별하고, 예술 사학자들의 평가를 통해 이러한 개념들이 실제 예술적 스타일과 얼마나 부합하는지 검증했습니다. 연구 결과, VLM이 추출한 개념의 상당수가 예술 사학자들에게 의미론적으로 유의미하며, 스타일 예측에 관련성이 높은 것으로 나타났습니다.

🔑 시사점 및 한계

•

VLM이 예술 스타일을 인식하는 과정에서 예술 사학자들이 고려하는 시각적 특징과 관련된 개념들을 상당 부분 학습하고 활용할 수 있음을 시사합니다.

•

VLM의 잠재 공간 분석을 통해 AI가 예술을 이해하는 방식에 대한 통찰을 얻을 수 있으며, 이는 향후 AI 기반 예술 분석 및 생성 연구에 기여할 수 있습니다.

•

VLM이 때때로 예술 사학자들이 생각하는 방식과 다른, 보다 형식적이거나 추상적인 개념을 통해 스타일을 성공적으로 예측할 수 있다는 점은 AI의 이해 방식이 인간과 다를 수 있음을 보여주며, 향후 인간과의 협업을 위한 추가적인 연구가 필요함을 나타냅니다.

PDF 보기

Made with Slashpage