본 논문은 최첨단 언어 모델이 평가 중임을 감지하는 능력, 즉 '평가 인식(evaluation awareness)'을 조사합니다. 61개의 서로 다른 데이터셋에서 수집한 1,000개의 프롬프트와 전사본으로 구성된 다양한 벤치마크를 사용하여, 모델이 평가 전사본과 실제 배포 전사본을 정확하게 분류할 수 있는지 확인했습니다. 실험 결과, 최첨단 모델들은 무작위보다 높은 평가 인식 능력을 보였으며 (Gemini-2.5-Pro는 AUC 0.83 달성), 인간 기준(AUC 0.92)에는 미치지 못했습니다. 모델과 인간 모두 대화형 설정보다 에이전트 설정에서 평가를 더 잘 식별했고, 모델은 평가의 목적을 식별하는 능력에서도 우수한 성능을 보였습니다. 결론적으로, 최첨단 모델은 아직 인간 수준에는 미치지 못하지만 상당한 수준의 평가 인식 능력을 보유하고 있으며, 향후 모델에서 이 능력을 추적할 것을 권장합니다.
