본 논문은 심층 학습 시대에 자연어 처리(NLP)의 기반 기술이 된 텍스트 임베딩과 대규모 언어 모델(LLM)의 상호작용에 대한 종합적인 고찰을 제공합니다. LLM이 생성적 패러다임을 통해 많은 자연어 이해 과제를 해결하지만, 의미 매칭, 클러스터링, 정보 검색 등의 실용적인 응용 분야는 여전히 효율성과 효과성 때문에 텍스트 임베딩에 의존하고 있습니다. 따라서 LLM과 텍스트 임베딩의 통합은 최근 주요 연구 주제가 되었습니다. 본 논문은 LLM과 텍스트 임베딩의 상호작용을 (1) LLM이 강화된 텍스트 임베딩, (2) LLM을 텍스트 임베더로 활용, (3) LLM을 이용한 텍스트 임베딩 이해 세 가지 주제로 분류하여 체계적으로 개관하고, 기존의 사전 훈련된 언어 모델(PLM) 시대의 해결되지 않은 과제와 LLM이 가져온 새로운 어려움을 분석하며, NLP 분야의 빠른 발전에 발맞춰 이론적 및 실용적 측면에서 텍스트 임베딩의 미래 방향을 제시합니다.
