본 논문은 대규모 언어 모델(LLM)과 비 LLM 인코더를 사용하여 생성된 밀집 텍스트 임베딩의 일반화 속성을 조사하고, 작업별 적응(예: LoRA)으로 인한 과도한 전문화를 구형 선형 보간법(SLERP) 모델 병합이 완화하는 정도를 연구한다. 모델은 짧은 수치 시퀀스를 임베딩하고 잘 정의된 수론적 속성에 따라 해당 시퀀스를 클러스터링하고 분류하는 능력에 대해 평가된다. 실험은 비 LLM 인코더, LoRA를 사용하여 적응된 LLM 기반 인코더, 모델 수프 병합된 LoRA-적응 LLM, SLERP 병합된 LoRA-적응 LLM을 포함한 네 가지 모델 계열을 비교한다.
