본 논문은 174개 전문 사실 확인 기관이 47개 언어로 평가한 5,000개의 주장을 사용하여 9개의 기존 대규모 언어 모델(LLM)을 체계적으로 평가합니다. 다양한 범주(오픈/클로즈 소스, 다양한 크기, 다양한 아키텍처, 추론 기반)의 LLM을 평가하며, 모델의 일반화 능력을 테스트하기 위해 훈련 데이터보다 나중에 생성된 주장과 시민 및 전문 사실 확인자의 상호 작용을 반영한 네 가지 프롬프팅 전략을 사용했습니다. 24만 개 이상의 인간 주석을 기준으로, 소규모 모델은 정확도가 낮음에도 불구하고 높은 자신감을 보이는 반면, 대규모 모델은 정확도는 높지만 자신감은 낮은 "다닝-크루거 효과"와 유사한 현상을 발견했습니다. 이는 특히 자원이 부족한 기관에서 소규모 모델을 사용하는 경우 정보 검증에 체계적인 편향을 초래할 위험이 있습니다. 성능 격차는 영어가 아닌 언어와 글로벌 사우스 출신 주장에서 가장 두드러지며, 기존의 정보 불평등을 심화시킬 위험이 있습니다. 이 연구 결과는 향후 연구를 위한 다국어 벤치마크를 설정하고 신뢰할 수 있는 AI 지원 사실 확인에 대한 공평한 접근을 보장하기 위한 정책의 근거를 제공합니다.
