본 논문은 기존의 이벤트 기반 시각-언어 모델(VLM)이 CLIP을 활용하여 전통적인 지각 과제에만 집중함으로써 이벤트 스트림에서 충분한 의미와 맥락을 명시적으로 이해하는 데 어려움을 겪는다는 점을 지적합니다. 이러한 한계를 극복하기 위해, 명시적인 의미 이해를 위한 최초의 생성형 이벤트 기반 다중모달 대규모 언어 모델(MLLM) 프레임워크인 EventVL을 제안합니다. 약 140만 개의 고품질 이벤트-이미지/비디오-텍스트 데이터 쌍으로 구성된 대규모 데이터셋을 주석하여 다양한 모달 간 의미 연결을 위한 데이터 격차를 해소하고, 이벤트 공간-시간적 표현을 설계하여 이벤트 스트림의 정보를 다양하게 집계하고 분할함으로써 포괄적인 정보를 완전히 활용합니다. 또한, 동적 의미 정렬을 도입하여 이벤트의 희소한 의미 공간을 개선하고 보완합니다. 실험 결과, EventVL은 이벤트 캡션 생성 및 장면 설명 생성 작업에서 기존 MLLM 기준 모델을 크게 능가하는 것으로 나타났습니다.
