COUNTS라는 대규모 OOD(Out-of-Distribution) 객체 검출 및 접지(grounding) 데이터셋과 두 가지 새로운 벤치마크 O(OD)² 및 OODG를 제시합니다. COUNTS는 14가지 자연스러운 분포 변화, 222,000개 이상의 샘플, 1,196,000개 이상의 라벨이 지정된 바운딩 박스를 포함합니다. O(OD)²는 객체 검출기의 OOD 일반화 능력을 평가하고, OODG는 다중 모달 대규모 언어 모델(MLLM)의 접지 능력을 평가하는 데 사용됩니다. 실험 결과, 대규모 모델과 광범위한 사전 학습 데이터는 분포 내(IID) 시나리오에서 성능을 크게 향상시키지만, OOD 상황에서는 객체 검출기와 MLLM 모두 상당한 한계가 있음을 보여줍니다. 예를 들어, 시각적 접지 작업에서 GPT-4o와 Gemini-1.5의 정확도는 각각 56.7%와 28.0%에 불과합니다. COUNTS는 분포 변화에도 높은 성능을 유지할 수 있는 강력한 객체 검출기와 MLLM 개발 및 평가를 위한 발전을 촉진할 것으로 기대됩니다.
