본 논문은 재훈련이나 대규모 라벨링된 데이터셋 접근 없이 추론 시점에서 비전 기반 모델을 조향하는 경량의 테스트 시간 방법인 Visual Sparse Steering (VS2)를 제시합니다. VS2는 대조 학습 데이터 없이 상위-$k$ Sparse Autoencoders에 의해 학습된 희소 특징에서 유도된 조향 벡터를 사용하여 비전 모델을 안내합니다. 또한, 추론 시점에서 의사 라벨링된 이웃을 사용하여 관련 희소 특징을 선택적으로 증폭하는 검색 증강 변형인 VS2++를 제안합니다. 마지막으로, SAE 재구성 작업을 통해 학습된 희소 특징과 하위 작업 성능에 관련된 희소 특징을 더 잘 정렬하기 위해 Prototype-Aligned Sparse Steering (PASS)를 제안합니다. VS2, VS2++, PASS는 CIFAR-100, CUB-200, Tiny-ImageNet 데이터셋에서 zero-shot CLIP을 상회하는 성능을 보여줍니다. 특히, 특정 클래스의 정확도를 최대 25% (VS2) 및 38% (VS2++)까지 향상시키는 것으로 나타났습니다.
