PixelHumor는 대규모 다중모달 모델(LMM)의 다중 패널 만화 이해 능력을 평가하기 위해 고안된 2,800개의 주석이 달린 다중 패널 만화 데이터셋입니다. 현존 최고의 LMM을 이용한 실험 결과, 패널 순서 맞추기 정확도가 61%에 불과하여 인간의 수행 능력에 크게 못 미치는 것으로 나타났습니다. 이는 시각적 및 텍스트적 단서를 일관된 서사와 유머 이해에 통합하는 데 있어 현재 모델의 중요한 한계를 보여줍니다. PixelHumor는 다중모달 맥락 및 서사 추론 평가를 위한 엄격한 프레임워크를 제공하여 자연스럽고 사회적으로 인지력 있는 상호 작용을 더 잘 수행하는 LMM 개발을 목표로 합니다.
