본 논문은 대규모 언어 모델(LLM) 기반 정보 검색(IR) 시스템에서 LLM 랭커, 어시스턴트, 그리고 평가자 간 상호작용으로 인해 발생할 수 있는 편향성을 분석한다. 기존 연구를 종합하고 새로운 실험 설계를 통해 LLM 기반 랭커와 어시스턴트가 LLM 기반 평가자에게 미치는 영향을 탐구한다. 실험 결과, LLM 평가자가 LLM 기반 랭커에 대한 상당한 편향성을 보이는 것을 최초로 실증적으로 증명하고, 미묘한 시스템 성능 차이를 식별하는 LLM 평가자의 능력에 한계가 있음을 확인한다. 반면, AI 생성 콘텐츠에 대한 편향성은 발견되지 않았다. 이러한 결과는 LLM 기반 정보 생태계에 대한 보다 포괄적인 관점의 필요성을 강조하며, IR 평가에서 LLM의 신뢰할 수 있는 사용을 보장하기 위한 초기 지침과 연구 과제를 제시한다.
