본 논문은 대규모 언어 모델(LLM)의 컨텍스트 내 학습(ICL)에서 무관한 레이블이 미치는 영향을 연구합니다. 기존 연구에서 무관한 레이블이 ICL 성능에 미치는 영향이 미미하다는 점을 발견한 것에 착안하여, LLM이 무관한 레이블을 사용하여 ICL을 수행하는 과정을 두 단계로 가정합니다. 첫 번째 단계는 작업을 해결하는 추론 함수이고, 두 번째 단계는 추론된 답을 레이블 공간에 매핑하는 언어화 함수입니다. 본 논문은 레이블 공간의 재매핑(예: "참"/"거짓"을 "고양이"/"개"로 변경)에도 추론 함수가 불변하다는 가정을 세우고, 제어된 계층 간 교환 개입 실험을 통해 이 가설을 실증적으로 검증합니다. 여러 데이터셋과 작업(자연어 추론, 감정 분석, 주제 분류)에서 가설을 확인하고, GEMMA-7B, MISTRAL-7B-V0.3, GEMMA-2-27B, LLAMA-3.1-70B 등 다양한 오픈소스 모델에서 두 함수를 특정 계층에 국지화할 수 있음을 제시합니다.
