대규모 멀티모달 모델(LMM)은 문맥 내 학습(ICL) 능력을 보여주었지만, 긴 문맥 길이의 제한과 높은 추론 비용으로 인해 다중 샷 설정으로 확장하는 데 어려움이 있습니다. 이 문제를 해결하기 위해, 여러 샷 문맥 내 데모의 간결한 표현을 모델 활성화에 삽입하는 task-vector 기반 방법이 연구되었습니다. 그러나 기존 task-vector 기반 방법은 task vector를 어디에 삽입할 것인지에 대한 중요성을 간과하거나 각 위치에 적절한 값을 결정하는 데 어려움을 겪습니다. 이에 본 논문에서는 삽입 위치와 삽입할 내용을 파악하기 위해 새로운 Sensitivity-aware Task Vector insertion framework (STV)를 제안합니다. 핵심 아이디어는 쿼리-문맥 쌍 간의 활성화 델타가 일관된 구조적 패턴을 나타내어 삽입에 대한 신뢰할 수 있는 단서를 제공한다는 것입니다. 식별된 민감성 인식 위치를 기반으로 활성화 값을 클러스터링하여 각 위치에 대한 사전 클러스터링된 활성화 뱅크를 구축한 다음, 강화 학습을 적용하여 삽입에 가장 적합한 활성화 값을 선택합니다. Qwen-VL, Idefics-2 등 다양한 멀티모달 모델과 VizWiz, OK-VQA 등 다양한 태스크에 대해 STV를 평가하여 그 효과를 입증하고 기존 task-vector 기반 방법보다 일관된 개선을 보이며 강력한 일반화 성능을 보여줍니다.
