본 논문은 다중 모달 대규모 언어 모델(MLLMs)이 실제 환경에서 부정확하거나 불완전하거나 신뢰할 수 없는 입력을 처리하는 능력을 분석합니다. 기존 벤치마크와 달리 실제 환경에서는 누락된 객체, 모순되는 사실, 모호한 참조, 불가능한 작업 요청 등이 포함된 지시사항이 빈번하게 나타납니다. 논문에서는 MLLMs가 이러한 암묵적 추론 시나리오(결함이 명시적으로 언급되지 않고 문맥에서 추론해야 하는 경우)를 처리하는 방식을 체계적으로 분석합니다. 네 가지 실제 실패 모드 범주를 포함하는 진단 도구를 사용하여 6개의 MLLMs(o3 및 GPT-4o 포함)를 평가한 결과, 모델들이 필요한 지각 및 추론 능력을 갖고 있음에도 불구하고 숨겨진 문제를 감지하지 못하는 경우가 많다는 것을 발견했습니다. 명시적인 프롬프트를 통해 기본적인 능력은 존재하지만 사용자 순응을 위해 종종 억압된다는 것을 보여줍니다. 또한 신중한 페르소나 프롬프팅 및 특히 질문을 명확히 하도록 요구하는 것과 같은 간단한 추론 시간 개입이 성능을 크게 회복시킬 수 있음을 보여줍니다.
