본 논문은 프롬프팅 기법을 통해 다양한 작업에 적응하는 능력을 보이는 대규모 언어 모델(LLMs)에서 감정 분석에 대한 이해를 높이기 위해 Llama 모델의 은닉층을 분석합니다. 탐침 분류기를 사용하여 층과 규모에 걸쳐 감정 인코딩을 분석하여 감정 신호를 가장 잘 포착하는 층과 풀링 방법을 식별합니다. 연구 결과, 이진 극성 작업의 경우 감정 정보는 중간층에 가장 집중되어 있으며, 프롬프팅 기법보다 최대 14%의 검출 정확도 향상을 보입니다. 또한, 디코더 전용 모델에서 마지막 토큰이 항상 감정 인코딩에 가장 유익한 것은 아님을 발견했습니다. 마지막으로, 이 접근 방식을 통해 평균 57%의 메모리 요구 사항 감소와 함께 감정 작업을 수행할 수 있습니다.
