본 논문은 대규모 언어 모델(LLM)의 신뢰성 있는 지능의 핵심 측면인 자기 평가를 연구한다. 기존 LLM 평가는 주로 작업 정확도에 집중되어 있기에, 저자들은 10개 항목의 일반적 자기 효능감 척도(GSES)를 적용하여 10개의 LLM으로부터 4가지 조건(과제 없음, 계산 추론, 사회적 추론, 요약)에서 모의 자기 평가를 유도했다. GSES 응답은 반복적인 시행과 무작위 항목 순서에서 높은 안정성을 보였다. 하지만, 모델들은 조건에 따라 유의미하게 다른 자기 효능감 수준을 보였으며, 집계 점수는 인간의 기준보다 낮았다. 모든 모델이 계산 및 사회적 질문에서 완벽한 정확도를 달성했지만, 요약 성능은 광범위하게 달랐다. 자기 평가는 능력을 reliably 반영하지 못했다: 낮은 점수의 모델들이 정확하게 수행하는 반면, 높은 점수의 모델들은 더 약한 요약을 생성했다. 후속 자신감 프롬프트는 완만한 하향 수정 결과를 보였으며, 이는 초기 평가에서 약간의 과대평가를 시사했다. 질적 분석 결과, 높은 자기 효능감은 더 단정적이고 의인화된 추론 스타일과 관련이 있었고, 낮은 점수는 신중하고 탈-의인화된 설명을 반영했다. 심리 측정 프롬프팅은 LLM 의사 소통 행동에 대한 구조화된 통찰력을 제공하지만, 보정된 성능 추정치를 제공하지는 못했다.
