본 논문은 시각 언어 모델(VLMs)이 모순되는 다중 모드 정보를 조정하는 능력에 대한 연구를 다룹니다. 특히, 텍스트 요소가 시각 패턴을 형성하는 ASCII 아트를 사용하여, 텍스트 의미와 시각 패턴 간의 상충이 발생하는 상황에서 VLMs의 성능을 평가합니다. GPT-4o, Claude, Gemini 등 5개의 최첨단 모델을 대상으로, 문자 수준의 의미가 전반적인 시각 패턴과 의도적으로 모순되는 적대적 ASCII 아트를 이용한 새로운 평가 프레임워크를 제시합니다. 실험 결과, VLMs는 시각 패턴보다 텍스트 정보를 우선시하는 강한 텍스트 우선 편향을 보이며, 의미적 복잡성이 증가함에 따라 시각 인식 능력이 크게 저하됨을 확인했습니다. 시각 매개변수 조정 및 프롬프트 엔지니어링을 통한 완화 시도는 미미한 개선만 가져왔으며, 이러한 한계를 극복하려면 아키텍처 수준의 해결책이 필요함을 시사합니다. 이 연구는 현재 VLMs가 다중 모드 정보를 통합하는 방식의 근본적인 결함을 밝히고, 적대적 예시에 취약한 콘텐츠 조정 시스템에 대한 중요한 함의를 제시하며, 향후 모델 개발을 위한 중요한 지침을 제공합니다.
