본 논문은 대규모 언어 모델(LMs)을 특정 작업에 효율적이고 강력하게 적용하는 방법을 제시한다. 기존의 미세 조정 방식은 라벨링된 데이터에만 의존하여 비라벨링된 데이터를 활용하지 못하고, 과적합 및 높은 계산 비용 문제를 야기한다. 이를 해결하기 위해, 본 논문은 1) 비라벨링 데이터에서 작업 관련 지식을 추출하는 새로운 지속적 사전 훈련 기법, 2) 메모리 및 계산 비용을 크게 줄이는 매개변수 효율적인 미세 조정 기법, 3) 라벨링된 데이터가 부족한 상황에서도 지시사항을 잘 따르도록 하는 향상된 지도 학습 미세 조정 기법, 4) LM의 능력과 적응성을 더 포괄적으로 평가하기 위한 새로운 평가 방법 및 벤치마크(다단계 공간 추론 작업 등)을 제안한다. 다양한 NLP 작업에 대한 광범위한 실험 결과, 제안된 방법들이 LM의 강건성, 효율성 및 일반화 성능을 크게 향상시켜 다양한 응용 분야에 대한 적용성을 높임을 보여준다.
