Less is More: Local Intrinsic Dimensions of Contextual Language Models
Created by
Haebom
저자
Benjamin Matthias Ruppik, Julius von Rohrscheidt, Carel van Niekerk, Michael Heck, Renato Vukovic, Shutong Feng, Hsien-chin Lin, Nurul Lubis, Bastian Rieck, Marcus Zibrowius, Milica Ga\v{s}ic
개요
본 논문은 대규모 언어 모델(LLM)의 내부 메커니즘을 이해하기 위한 새로운 관점을 제시합니다. 특히, 문맥적 잠재 임베딩의 기하학적 특성에 기반하여 훈련 및 미세 조정의 영향을 연구합니다. 문맥적 언어 모델의 잠재 공간의 국소 차원을 측정하고, 훈련 및 미세 조정 중 변화를 분석하여 모델의 훈련 역학 및 일반화 능력에 대한 통찰력을 제공합니다. 대화 상태 추적, 감정 인식, 산술 작업 등 다양한 작업에서 국소 차원의 평균이 모델의 훈련 능력 고갈, 과적합, 그로킹(Grokking)을 예측하는 지표가 됨을 보여줍니다. 또한, 국소 차원 평균의 감소는 후속 성능 향상과 관련이 있음을 시사하며, 미세 조정이 임베딩 공간에 미치는 영향에 대한 실무적인 통찰력을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 훈련 및 미세 조정 과정에 대한 새로운 이해를 제공합니다.
◦
국소 차원의 평균을 활용하여 모델의 훈련 능력 고갈, 과적합, 그로킹을 예측할 수 있는 실용적인 지표를 제시합니다.
◦
미세 조정 전략을 최적화하고 모델의 일반화 능력을 향상시키는 데 도움이 될 수 있습니다.
◦
LLM의 해석성, 적응성, 일반화 능력에 대한 연구에 기여합니다.
•
한계점:
◦
제시된 방법론이 모든 유형의 LLM과 작업에 적용 가능한지에 대한 추가 연구가 필요합니다.
◦
국소 차원의 평균 이외의 다른 기하학적 특성이 모델의 성능에 미치는 영향에 대한 분석이 부족합니다.
