본 논문은 대규모 언어 모델(LLM)이 평가 과정을 포함하는 워크플로우에 점점 더 많이 통합됨에 따라, 이러한 평가가 어떻게 구성되고 어떤 가정에 의존하며 인간의 전략과 어떻게 다른지 조사할 필요성을 제기한다. 연구는 6개의 LLM을 NewsGuard와 Media Bias/Fact Check (MBFC) 전문가 평가 및 통제된 실험을 통해 수집된 인간 판단과 비교 벤치마킹한다. 모델과 비전문가 참가자 모두 동일한 평가 절차(기준 선택, 콘텐츠 검색, 정당성 생성)를 따르는 구조화된 목적 지향적 프레임워크를 구현하여 직접 비교를 가능하게 한다. LLM은 출력이 일치함에도 불구하고, 어휘적 연관과 통계적 사전 지식이 문맥적 추론을 대체하는 등 다른 메커니즘에 의존한다. 이러한 의존성은 정치적 비대칭성, 불투명한 정당성, 언어적 형태를 인식론적 타당성과 혼동하는 경향과 같은 체계적인 효과를 생성한다. 따라서 LLM에 판단을 위임하는 것은 단순히 평가를 자동화하는 것이 아니라, 규범적 추론에서 패턴 기반 근사로 평가를 재정의하는 것이다.
