본 논문은 프롬프팅 기법을 이용한 감정 분석에서 대규모 언어 모델(LLM)의 감정 관련 정보 캡처 방식에 대한 이해를 높이고자 Llama 모델의 은닉층을 분석합니다. 탐침 분류기를 사용하여 계층 및 스케일 전반의 감정 인코딩을 분석하고, 감정 신호를 가장 잘 포착하는 계층과 풀링 방법을 확인합니다. 연구 결과, 이진 극성 작업의 경우 감정 정보는 중간 계층에 가장 집중되어 있으며, 프롬프팅 기법보다 최대 14%의 검출 정확도 향상을 보입니다. 또한 디코더 전용 모델에서는 마지막 토큰이 항상 감정 인코딩에 가장 유익한 것은 아님을 발견했습니다. 마지막으로, 이 방법을 통해 평균 57%의 메모리 요구 사항 감소 효과를 얻을 수 있는 감정 작업 수행이 가능함을 보여줍니다.
