본 논문은 최첨단 언어 모델이 평가 중임을 감지하는 능력, 즉 평가 인식(evaluation awareness)에 대해 조사합니다. 다양한 61개 데이터셋의 1,000개 프롬프트와 전사본으로 구성된 벤치마크를 사용하여, 모델이 평가용 전사본과 실제 배포 환경에서의 전사본을 구분할 수 있는지 실험했습니다. 그 결과, 최첨단 모델(Gemini-2.5-Pro는 AUC 0.83 달성)은 무작위보다 높은 평가 인식 능력을 보였지만, 아직 인간(AUC 0.92)을 능가하지는 못했습니다. 또한, 모델과 인간 모두 에이전트 환경에서 채팅 환경보다 평가를 더 잘 식별하는 것으로 나타났으며, 모델은 평가의 목적을 식별하는 데 있어서도 우수한 성능을 보였습니다. 결론적으로 최첨단 모델은 상당한 수준의 평가 인식 능력을 보유하고 있으며, 향후 모델 개발에서 이 능력을 추적해야 한다고 제안합니다.
