본 논문은 대규모 언어 모델(LLM)이 다양한 페르소나를 채택하는 놀라운 다양성을 보이는 것에 대해 연구합니다. 특히, 목표 과제에 대한 모델의 추론에 페르소나 할당이 어떻게 영향을 미치는지 조사하고, 활성화 패치를 사용하여 모델의 주요 구성 요소가 페르소나 특정 정보를 어떻게 인코딩하는지에 대한 이해를 높이고자 합니다. 연구 결과, 초기 다층 퍼셉트론(MLP) 층은 입력의 구문 구조뿐만 아니라 의미적 내용도 처리하며, 페르소나 토큰을 더 풍부한 표현으로 변환하고, 이를 중간 다중 헤드 어텐션(MHA) 층에서 모델의 출력을 형성하는 데 사용함을 밝혔습니다. 또한, 인종 및 색깔 기반 정체성에 불균형적으로 집중하는 특정 어텐션 헤드를 확인했습니다.
