본 논문은 컨텍스트 학습에서 질의 집합에 대한 데모 예시를 선택하는 알고리즘을 제시합니다. n개의 예시 중 k개를 선택하여 downstream 추론을 위한 조건으로 활용하는 방법을 다룹니다. 기존의 토큰 임베딩 유사성 기반 방법과 달리, 본 논문은 입력 임베딩 공간에서 출력의 기울기를 활용하는 새로운 접근 방식을 제안합니다. 기울기를 이용한 1차 근사를 통해 모델 출력을 추정하고, 여러 개의 무작위로 선택된 부분 집합에 이 추정을 적용합니다. 각 데모에 대한 영향력 점수를 계산하고, 가장 관련성이 높은 k개의 예시를 선택합니다. 모델 출력과 기울기는 한 번만 미리 계산하면 되므로, 모델 및 훈련 집합 크기에 대해 선형 시간 알고리즘을 제공합니다. 다양한 모델과 데이터셋에 대한 광범위한 실험을 통해 효율성을 검증하였으며, 기울기 추정 절차는 6개의 데이터셋에서 1% 미만의 오차로 완전 추론을 근사합니다. 이는 기존 방법보다 최대 37.7배 빠르게 부분 집합 선택을 확장할 수 있게 하며, 입력 임베딩 기반의 기존 선택 방법보다 평균 11% 향상된 성능을 보입니다.
