본 논문은 심층 학습 시대에 자연어 처리(NLP)의 기반 기술이 된 텍스트 임베딩과 대규모 언어 모델(LLM)의 상호작용을 조명합니다. LLM이 다양한 하위 작업에서 생성적 패러다임을 통해 성과를 거두고 있지만, 의미 매칭, 클러스터링, 정보 검색 등의 실용적인 응용 프로그램은 여전히 효율성과 효과성 때문에 텍스트 임베딩에 의존하고 있습니다. 따라서 본 논문은 LLM과 텍스트 임베딩의 상호 작용을 (1) LLM이 강화된 텍스트 임베딩, (2) 텍스트 임베더로서의 LLM, (3) LLM을 이용한 텍스트 임베딩 이해라는 세 가지 주요 주제로 분류하여 체계적으로 검토합니다. 기존의 사전 훈련된 언어 모델(PLM) 시대의 해결되지 않은 과제와 LLM이 가져온 새로운 과제를 강조하고, NLP 분야의 발전 방향을 제시합니다.
