본 논문은 컴퓨터 비전의 핵심 과제인 Human-Object Interaction (HOI) 감지를 개선하기 위해, 훈련 없이 사용 가능한 Adaptive Diversity Cache (ADC) 모듈을 제안합니다. ADC는 장족의 발전을 이룬 VLMs 기반의 HOI 감지 방식의 계산 부담과 확장성 문제를 해결하고자, 추론 과정에서 고신뢰도 및 다양한 특징 표현을 축적하는 클래스별 캐시를 구축합니다. 희소 범주를 선호하는 빈도 인식 캐시 적응을 통해 추가 훈련이나 미세 조정을 거치지 않고도 견고한 예측 보정을 가능하게 합니다. HICO-DET 및 V-COCO 데이터셋 실험 결과, ADC는 기존 HOI 감지기를 일관되게 개선하여 희소 범주에서 최대 +8.57% mAP, 전체 데이터셋에서 +4.39%의 성능 향상을 보였습니다.