본 논문은 대규모 언어 모델(LLM)의 인맥상황 학습(ICL)에서 계층별 표현 메커니즘을 통계 기하학적 분석을 통해 조사한 연구이다. 분석 결과, 초기 계층에서는 입력 데모에서 과업 정보를 인코딩하는 압축적이고 차별적인 표현을 생성하고, 후기 계층에서는 쿼리를 통합하여 예측을 생성하기 위해 이러한 표현을 확장하는 "계층별 압축-확장" 현상을 발견하였다. 이 현상은 다양한 과업과 LLM 아키텍처에서 일관되게 관찰되었으며, 모델 크기 및 데모 수 증가에 따른 ICL 성능 향상 및 잡음이 있는 예시에 대한 강건성에 중요한 영향을 미친다. 또한, 압축된 과업 표현의 효과를 이해하기 위해 편향-분산 분해를 제안하고, 어텐션 메커니즘이 분산과 편향을 모두 줄이는 데 기여하여 데모 수 증가에 따라 성능을 향상시키는 방법을 이론적으로 분석하였다. 결론적으로, 본 연구는 ICL에서 흥미로운 계층별 동역학을 밝히고, LLM 내에서 구조화된 표현이 어떻게 나타나는지 보여주며, 내부 표현 분석이 모델 동작에 대한 더 깊은 이해를 촉진할 수 있음을 보여준다.
