본 논문은 대규모 언어 모델(LLM)의 적응 기술에 대한 튜토리얼을 제공합니다. 일반적인 LLM은 다양한 작업에서 강력한 일반화 능력을 보이지만, 금융, 의료, 특정 언어 코드 생성과 같은 특수 분야에서는 성능이 저하되는 경우가 많습니다. 또한, 정적 특성으로 인해 변화하는 세계에 적응하는 데 어려움이 있으며, 대규모 크기로 인해 배포가 비실용적이고 비용이 많이 듭니다. 따라서 산업 및 학계 모두에서 LLM 적응 기술이 중요한 연구 분야로 떠올랐습니다. 본 논문에서는 데이터 및 모델 관점에서 LLM 적응에 대한 소개를 시작으로, 평가 지표 및 벤치마크의 차이점을 강조합니다. 그 후, 매개변수 지식 적응(parametric knowledge adaptation)과 준매개변수 지식 적응(semi-parametric knowledge adaptation) 두 가지 주요 범주로 나누어 다양한 적응 기술을 탐구합니다. 매개변수 지식 적응은 LLM 내 매개변수 지식을 업데이트하는 데 중점을 두며, 실시간 적응 기술(예: 모델 편집)을 포함합니다. 준매개변수 지식 적응은 검색 증강 생성(RAG) 및 에이전트 기반 시스템과 같은 기술을 통해 외부 지식 또는 도구를 더 잘 활용하도록 LLM 매개변수를 업데이트하는 것을 목표로 합니다.
