본 논문은 간접적 In-Context Learning (ICL)이라는 새로운 패러다임을 제시합니다. 간접적 ICL은 두 가지 실제 시나리오, 즉 다양한 작업의 혼합(Mixture of Tasks)과 잡음이 있는 ICL(Noisy ICL)에 맞춰 설계된 데모 선택 전략을 탐구합니다. 영향 함수(Influence Functions, IFs)를 이러한 설정을 위한 선택 도구로서 체계적으로 평가하여 데모 풀 내 예제의 정보성을 더 잘 포착하는 IFs의 잠재력을 강조합니다. 다양한 작업(MMLU, BigBench, StrategyQA, CommonsenseQA 등 28개 작업) 혼합 설정에서 BertScore-Recall (BSR)과 IF 대리 모델을 결합하여 기존 ICL 지표와 비교하여 3-shot 및 5-shot 설정에서 평균 절대 정확도가 각각 0.37% 및 1.45% 향상됨을 보여줍니다. 잡음이 있는 ICL 설정에서는 데모가 잘못 라벨링되었거나 적대적 잡음이 있을 수 있는 시나리오를 조사합니다. 잡음이 있는 GLUE 벤치마크에서 IF 기반 선택기를 사용하여 기존 ICL 선택기(BSR 및 코사인 유사도)의 가중치를 재조정하면 코사인 유사도의 경우 평균 2.90%, BSR의 경우 2.94%의 정확도 향상을 보입니다. 적대적 하위 설정의 경우, 작업 인식 방법과 비교하여 공격 성공률을 32.89% 감소시키는 백도어 공격 완화를 위한 작업과 무관한 데모 선택에 IF를 사용하는 유용성을 보여줍니다. 결론적으로, 기존 ICL을 넘어서는 데모 선택을 위한 강력한 프레임워크를 제안하고, 간접적 ICL을 위한 IF의 역할에 대한 귀중한 통찰력을 제공합니다.
