본 논문은 대규모 다중 모달 모델(LMM)의 부분 기반 추론 능력의 한계를 다룹니다. 실세계 객체는 고유한 부분으로 구성되며, 이러한 부분을 식별하는 것은 세밀한 구성적 추론에 중요하지만, 기존 LMM들은 이를 어려워합니다. 이에 연구진은 픽셀 단위 부분 접지(pixel-level part grounding)를 위한 LMM 벤치마크인 PARTONOMY를 제시합니다. PARTONOMY는 기존 데이터셋과 새롭게 주석된 이미지 데이터를 포함하며, 862개의 부분 레이블과 534개의 객체 레이블을 사용합니다. 기존 데이터셋과 달리, PARTONOMY는 전문화된 개념(예: 농업용 비행기)을 사용하고, 객체 부분 비교, 부분-전체 관계 고려, 시각적 분할을 통한 텍스트 예측 정당화 등의 과제를 포함합니다. 실험 결과, 최첨단 LMM(예: LISA-13B는 5.9%의 gIoU 달성)의 부분 접지 능력에 심각한 한계가 있음을 보여줍니다. 기존 분할 가능 LMM의 두 가지 주요 결점(미리 학습되지 않은 특수 [SEG] 토큰 사용으로 인한 분포 이동, 이전 예측을 활용하지 않고 예측된 분할을 버리는 것)을 해결하기 위해, 부분 중심 LMM들을 훈련하고, 스팬 태깅과 피드백 루프를 사용하는 새로운 분할 가능 LMM인 PLUM을 제안합니다. PLUM은 추론 분할, VQA, 시각적 환각 벤치마크에서 기존 모델들을 능가하며, 설명적 부분 분할 작업에 미세 조정된 PLUM은 훨씬 많은 분할 데이터로 훈련된 모델들과 경쟁력을 갖습니다.
