본 논문은 대규모 언어 모델(LLM) 기반 정보 검색(IR) 시스템에서 LLM 기반 랭커, 어시스턴트, 그리고 평가자 간 상호작용으로 인해 발생할 수 있는 편향 문제를 다룹니다. 기존 연구를 종합하고 새로운 실험 설계를 통해 LLM 기반 랭커와 어시스턴트가 LLM 기반 평가자에게 미치는 영향을 탐구합니다. 실험 결과, LLM 평가자가 LLM 기반 랭커에 대한 상당한 편향을 보이는 것을 최초로 실증적으로 증명하고, LLM 평가자의 미묘한 시스템 성능 차이 식별 능력의 한계를 관찰했습니다. 기존 연구와 달리, AI 생성 콘텐츠에 대한 편향은 발견되지 않았습니다. 이러한 결과는 LLM 기반 정보 생태계에 대한 보다 전체적인 관점의 필요성을 강조하며, LLM의 신뢰할 수 있는 IR 평가 활용을 위한 초기 지침과 연구 과제를 제시합니다.
