본 논문은 대규모 언어 모델(LLM)에서 입력 컨텍스트에 제공된 작은 데모에 의존하여 새로운 작업을 수행하는 "문맥 내 학습(ICL)"에 대해 연구하며, 특히 시각적 문맥 내 학습(VICL)의 가능성을 탐구합니다. 저자들은 서로 다른 시각적 작업에서 시각적 프롬프트와 대상 이미지가 발생할 때, VLMs(Vision-Language Models)이 VICL을 수행할 수 있는지 질문하며, "T2T-VICL"이라는 완전 협력 파이프라인을 제안합니다. 이 파이프라인은 두 가지 저수준 시각 작업 간의 차이점을 가장 잘 암시적으로 설명하는 텍스트 프롬프트를 생성하고 선택하는 메커니즘을 설계하며, 최초의 교차 작업 VICL 데이터 세트를 구축합니다. 또한, 지각 점수 기반 추론과 기존 평가 지표를 결합한 새로운 추론 프레임워크를 제안하여 교차 작업 VICL을 수행합니다. 이 접근 방식은 9개의 교차 작업 시나리오에서 최상위 결과를 달성하고 10개의 추가 시나리오에서 2위의 성능을 보이며, VLMs 내에서 교차 작업 VICL의 경계를 넓혔습니다.
