본 논문은 시각-언어 모델(VLMs)에서 관련 없는 정보(방해 요소)가 시험 시간 규모에 미치는 영향을 연구합니다. 텍스트 방해 요소가 추론을 더 길게 만들지만 효과는 떨어뜨린다는 이전 연구 결과와 달리, 시각 방해 요소는 정확도를 감소시키면서 추론 길이를 증가시키지 않는다는 것을 발견했습니다. 이를 위해, 의미, 숫자, 공간적 차원에서 체계적으로 방해 요소를 변화시키는 시각 질문 응답 데이터세트 Idis를 소개합니다. 또한, 추론 과정에서 속성 수를 추적하는 것이 방해 요소, 추론 길이, 정확도 간의 상호 작용에 대한 중요한 통찰력을 제공한다는 것을 보여줍니다. 마지막으로, 이러한 경향이 Waterbirds와 같은 시각적 편향 벤치마크에도 적용되며, 추론 모델에서 편향으로 인한 예측을 완화하기 위한 간단한 프롬프트 전략을 제안합니다.
