본 논문은 최첨단 언어 모델이 평가 중임을 감지하는 능력, 즉 '평가 인식' 능력을 조사합니다. 61개의 서로 다른 데이터셋에서 수집한 1,000개의 프롬프트와 전사본으로 구성된 다양한 벤치마크를 사용하여, 모델이 평가 전사본과 실제 배포 전사본을 정확하게 분류할 수 있는지 여부를 평가했습니다. 실험 결과, 최첨단 모델들(예: Gemini-2.5-Pro, AUC 0.83)은 무작위보다 높은 평가 인식 능력을 보였지만, 인간 기준(AUC 0.92)을 능가하지는 못했습니다. 또한, 모델과 인간 모두 에이전트 환경에서 채팅 환경보다 평가를 더 잘 식별하는 것으로 나타났으며, 모델은 평가의 목적을 식별하는 데 있어서도 우수한 성능을 보였습니다. 이는 최첨단 모델들이 상당한 수준의 평가 인식 능력을 이미 가지고 있음을 시사합니다.
