DyVec은 대규모 언어 모델(LLM)에서 작업 관련 표현을 추출하여 추론 중에 다시 주입하는 In-Context derived Vector (ICV) 방법을 개선한 연구입니다. 기존 ICV 방법의 한계점을 해결하기 위해, DyVec은 Robust한 의미론적 집약 잠재 표현을 추출하기 위한 Exhaustive Query Rotation (EQR) 전략을 통합하고, 작업 복잡성에 따라 표현을 적응적으로 분할하기 위해 Dynamic Latent Segmentation 및 Injection을 적용하며, 각 세그먼트에 대한 최적의 주입 위치를 학습하기 위해 REINFORCE 기반 최적화를 활용합니다. 실험 결과 DyVec은 few-shot ICL, LoRA 및 이전 ICV 기반보다 뛰어난 성능을 보였습니다.
