본 논문은 시각적 표현을 통해 시간을 이해하는 능력이 기본적인 인지 능력임에도 불구하고, 다중 모드 대규모 언어 모델(MLLM)에게는 여전히 어려운 과제임을 다룹니다. 연구팀은 아날로그 시계와 연간 달력을 통해 MLLM의 시간 및 날짜 해석 능력을 조사하기 위해, 다양한 시계 스타일(표준, 검정 다이얼, 초침 없는, 로마 숫자, 화살표 시계)과 시간 관련 질문으로 구성된 ClockQA와 연간 달력 이미지와 일반적인 날짜(크리스마스, 새해 첫날)부터 계산적으로 도출된 날짜(100일 또는 153일)까지의 질문으로 구성된 CalendarQA의 두 가지 하위 데이터셋으로 구성된 구조화된 데이터셋을 만들었습니다. 이를 통해 시계 관련 시각 데이터가 주어졌을 때 MLLM이 시각적 인식, 수치적 추론 및 시간적 추론을 어떻게 수행하는지 분석하고자 합니다. 평가 결과, 최근의 발전에도 불구하고 시간을 신뢰할 수 있게 이해하는 것은 MLLM에게 여전히 상당한 과제임을 보여줍니다.
