Omni-SILA: Towards Omni-scene Driven Visual Sentiment Identifying, Locating and Attributing in Videos
Created by
- Haebom
Category
Empty
저자
Jiamin Luo, Jingjing Wang, Junxiao Ma, Yujie Jin, Shoushan Li, Guodong Zhou
개요
본 논문은 기존의 시각적 감정 이해(VSU) 연구가 얼굴 표정과 같은 명시적 정보에만 의존하여 암시적 정보(행동, 사물 관계, 배경 등)를 간과하는 문제점을 지적한다. 이를 해결하기 위해, 명시적 및 암시적 정보를 모두 활용하여 영상 내 시각적 감정을 식별, 위치 파악, 속성 부여하는 새로운 Omni-SILA 과제를 제안한다. Omni-SILA 과제의 핵심 과제는 장면 정보 모델링과 명시적 정보를 넘어선 암시적 정보 강조로, 이를 위해 암시적 정보 강화 인과 MoE(ICM) 접근 방식을 제시한다. ICM은 장면 균형 MoE(SBM)와 암시적 정보 강화 인과(IEC) 블록으로 구성되어 각각 장면 정보 모델링과 암시적 정보 강조를 수행한다. 자체 제작한 명시적 및 암시적 Omni-SILA 데이터셋을 사용한 실험 결과, 제안된 ICM 접근 방식이 기존의 Video-LLM보다 우수한 성능을 보임을 보여준다.
시사점, 한계점
•
시사점:
◦
시각적 감정 이해에 있어 명시적 정보뿐 아니라 암시적 정보의 중요성을 강조하고, 이를 통합적으로 고려하는 새로운 Omni-SILA 과제를 제시하였다.
◦
Omni-SILA 과제를 효과적으로 해결하기 위한 새로운 모델인 ICM을 제안하고, SBM과 IEC 블록을 통해 장면 정보 모델링과 암시적 정보 강조를 성공적으로 수행하였다.
◦
제안된 ICM 모델이 기존 Video-LLM보다 우수한 성능을 보임으로써, 시각적 감정 이해 분야의 발전에 기여할 수 있음을 보여주었다.
◦
새로운 데이터셋을 구축하여 향후 연구에 활용 가능한 기반을 마련하였다.
•
한계점:
◦
제안된 Omni-SILA 데이터셋의 규모 및 다양성에 대한 구체적인 정보가 부족하다.
◦
ICM 모델의 성능 비교 대상이 Video-LLM으로 한정되어 다른 유형의 모델과의 비교 분석이 부족하다.
◦
모델의 일반화 성능 및 다양한 영상 유형에 대한 적용 가능성에 대한 추가적인 검증이 필요하다.
◦
암시적 정보의 정의 및 추출 방식에 대한 명확한 설명이 부족할 수 있다.
