본 논문은 소규모 언어 모델의 일반화 능력을 두 가지 주요 적응 패러다임인 퓨샷 프롬프팅과 지도 학습 파인튜닝을 통해 연구합니다. 프롬프팅은 매개변수 효율성과 유연성으로 인해 선호되지만, 자원이 부족한 환경과 분포 변화에서 얼마나 강력한지는 불분명합니다. 본 논문은 다양한 작업 형식, 프롬프트 스타일, 모델 규모에 걸쳐 프롬프팅과 파인튜닝을 비교 연구하고, 특히 분포 내(in-distribution) 및 분포 외(out-of-distribution, OOD) 설정에서의 동작에 초점을 맞춥니다. 정확도 외에도 각 접근 방식에 의해 학습된 내부 표현을 분석하여 작업별 특징의 안정성과 추상화를 평가합니다. 연구 결과는 소규모 모델이 서로 다른 적응 전략 하에서 지식을 내면화하고 일반화하는 방식에 대한 중요한 차이점을 강조합니다. 본 연구는 데이터가 부족한 환경에서 모델 선택에 대한 실용적인 지침을 제공하며, 프롬프팅 대 파인튜닝에 대한 지속적인 논쟁에 대한 경험적 통찰력을 제공합니다.
