본 논문은 대규모 언어 모델(LLM) 기반 감정 분석의 해석성 문제를 해결하기 위해, SHAP(Shapley Additive Explanations) 기법을 활용하여 LLM을 embedding layer, encoder, decoder, attention layer 등의 구성 요소로 분해하여 계층별 감정 예측 과정을 설명하는 방법을 제시합니다. Stanford Sentiment Treebank (SST-2) 데이터셋을 사용하여 실험을 진행, 기존의 전체 모델 해석 기법보다 향상된 성능을 보이며, 특정 토큰이 각 계층에 미치는 영향을 명확히 분석하여 LLM의 감정 분류 과정에 대한 이해도를 높였습니다. 이를 통해 중요한 응용 분야에서 LLM 기반 감정 분석의 신뢰성과 투명성을 향상시킬 수 있음을 시사합니다.