이 튜토리얼은 일반적인 LLM의 정적 능력을 넘어선 동적, 도메인별, 작업 적응형 LLM 적응 기술에 대한 개요를 제공함으로써, LLM 적응에 대한 증가하는 수요를 해결하기 위해 설계되었습니다. 일반 LLM은 다양한 작업에서 강력한 일반화를 보여주지만, 금융, 헬스케어, 그리고 소외된 언어의 코드 생성과 같은 전문 분야에서는 종종 어려움을 겪습니다. 또한, 정적인 특성은 변화하는 세상에 따라 진화하는 능력을 제한하며, 규모가 크고 실용적이지 않아 대규모 배포 비용이 많이 듭니다. 따라서 LLM 적응은 LLM의 등장 이후 많은 관심을 받아 왔으며, 특정 사용자를 대상으로 하는 산업과 작지만 강력한 LLM으로부터 큰 이점을 얻을 수 있는 학계 모두에게 핵심적인 중요성을 가집니다. 이 튜토리얼은 LLM 적응 기술에 대한 개요를 제공하는 것을 목표로 합니다. 데이터 관점과 모델 관점에서 LLM 적응에 대한 소개로 시작합니다. 그런 다음, 평가 지표와 벤치마크가 다른 기술과 어떻게 다른지 강조합니다. 문제를 설정한 후, 다양한 적응 기술을 탐구합니다. 적응 기술을 두 가지 주요 그룹으로 분류합니다. 첫 번째는 LLM 내의 매개변수 지식을 업데이트하는 데 초점을 맞춘 매개변수 지식 적응입니다. 또한, 모델 편집을 포함하여 생산 환경에서 동적으로 LLM을 업데이트할 수 있는 실시간 적응 기술에 대해 논의합니다. 두 번째 적응 유형은 검색 증강 생성(RAG) 및 에이전트 기반 시스템과 같은 기술을 통해 외부 지식 또는 도구를 더 잘 활용하기 위해 LLM 매개변수를 업데이트하는 것을 목표로 하는 반매개변수 지식 적응입니다.
