본 논문은 대규모 비전 언어 모델(LVLMs)의 사회적 편향 문제를 다룹니다. 기존 연구가 편향의 탐지 및 정량화에 집중한 것과 달리, 본 논문은 모델 내부 메커니즘에 대한 이해를 목표로 합니다. 정보 흐름 분석과 다회차 대화 평가를 결합한 설명적 프레임워크를 제시하여, 불균형적인 내부 정보 활용의 관점에서 사회적 편향의 기원을 분석합니다. 정보 흐름 분석을 통해 중립적인 질문에 대한 모델 추론 과정에서 중요한 이미지 토큰을 식별하고, 다회차 대화 메커니즘을 통해 이러한 토큰이 민감한 정보를 얼마나 포함하는지 평가합니다. 실험 결과, LVLMs는 서로 다른 인구 통계 집단의 이미지를 처리할 때 정보 사용에 체계적인 차이를 보이며, 사회적 편향이 모델의 내부 추론 역학에 깊이 뿌리내리고 있음을 시사합니다. 또한, 모델의 의미론적 표현이 이미 편향된 근접 패턴을 보여준다는 것을 텍스트 모드 관점에서 보완하여, 편향 형성에 대한 교차 모드 설명을 제공합니다.
