대규모 언어 모델(LLM)이 문맥 내 학습(ICL)을 사용하여 새로운 작업을 해결할 때 시연 예시로부터 잠재 개념을 추론해야 한다. 본 연구는 변환기 모델이 잠재 구조를 어떻게 표현하는지 기계론적 해석 가능성을 통해 탐구한다. 연구 결과, 변환기 모델은 잠재 개념을 성공적으로 식별하고 단계별 개념 구성을 수행하며, 잠재적 수치 개념으로 매개변수화된 작업에서 모델의 표현 공간 내 저차원 부분 공간을 발견하여 기저 매개변수화를 반영하는 기하학적 구조를 나타냄을 확인했다. 작은 모델과 큰 모델 모두 소수의 축약된 시연으로부터 ICL 방식으로 학습한 잠재 개념을 분리하고 활용할 수 있음을 입증했다.
시사점, 한계점
•
시사점:
◦
변환기 모델이 ICL을 통해 학습한 잠재 개념을 성공적으로 식별하고 활용함을 보여줌.
◦
잠재적 수치 개념에 대한 모델의 표현 공간에서 기저 매개변수화를 반영하는 저차원 부분 공간을 발견함.
