본 논문은 대규모 언어 모델(LLM)의 성격 특성 및 가치를 측정하기 위해 기존 심리 척도(예: BFI, PVQ)를 적용한 기존 연구에 대한 비판적 분석을 제시합니다. 기존 척도의 생태적 타당성 부족 문제를 제기하며, 생태학적으로 타당한 설문지와 기존 설문지의 결과 차이를 비교 분석합니다. 분석 결과, 기존 척도는 (1) 사용자 질의 맥락에서 표현되는 심리적 특성과 일치하지 않는 LLM의 프로필을 생성하고, (2) 안정적인 측정에 충분한 항목이 부족하며, (3) LLM이 안정적인 구성을 가지고 있다는 오해를 불러일으키고, (4) 페르소나 프롬프트를 사용한 LLM에 과장된 프로필을 생성하는 것으로 나타났습니다. 따라서 기존 심리 척도를 LLM에 적용하는 것에 대한 주의를 촉구합니다.
