Visual Chronicles: Using Multimodal LLMs to Analyze Massive Collections of Images
Created by
Haebom
저자
Boyang Deng, Songyou Peng, Kyle Genova, Gordon Wetzstein, Noah Snavely, Leonidas Guibas, Thomas Funkhouser
개요
본 논문은 수천만 장의 이미지로 구성된 대규모 데이터베이스를 분석하여 시간적 변화 패턴을 발견하는 시스템을 제시합니다. 다양한 시점에 촬영된 이미지들을 활용하여 도시 전역에서 자주 공존하는 변화(트렌드)를 포착하는 것을 목표로 합니다. 기존의 시각적 분석과 달리, 미리 정해진 목표 주제나 학습 레이블 없이 개방형 질문(예: "도시에서 자주 발생하는 변화의 유형은 무엇인가?")에 답할 수 있습니다. 이러한 특성으로 인해 기존의 학습 기반 또는 비지도 학습 기반 시각적 분석 도구는 적합하지 않습니다. 따라서 개방형 의미 이해 능력을 갖춘 다중 모달 대규모 언어 모델(MLLM)을 새로운 도구로 활용합니다. 하지만 데이터셋의 크기가 MLLM의 처리 능력을 훨씬 초과하기 때문에, 대규모 시각 분석 문제를 더 작고 처리 가능한 하위 문제로 분해하는 상향식 절차를 도입합니다. 각 하위 문제에 대해 MLLM 기반 솔루션을 설계하고, 실험과 제거 연구를 통해 기존 방법보다 뛰어난 성능을 보이며 대도시 이미지에서 흥미로운 트렌드(예: "야외 식당 추가", "육교가 파란색으로 페인트칠됨" 등)를 발견할 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 모달 대규모 언어 모델(MLLM)을 활용하여 대규모 이미지 데이터베이스의 시간적 변화 패턴을 효과적으로 분석하는 새로운 방법 제시.
