본 논문은 추론 과정이 없는(inference-free) 스파스 검색 모델의 성능 향상을 위한 두 가지 방법을 제시합니다. 첫째, 낮은 IDF(Inverse Document Frequency) 토큰의 기여도를 억제하고 정보성 있는 용어에 집중하도록 하는 IDF-aware penalty를 제안합니다. 둘째, Siamese dense 및 sparse retriever를 결합하여 사전 훈련 단계에서 강력한 지도 신호를 생성하는 이종 앙상블 지식 증류(knowledge distillation) 프레임워크를 제안합니다. BEIR 벤치마크에서 기존 최고 성능의 추론 과정이 없는 스파스 모델보다 NDCG@10 점수를 3.3 향상시켰으며, Siamese sparse retriever와 비교하여 경쟁력 있는 검색 관련성을 보였습니다. 또한 BM25 대비 1.1배의 클라이언트 측 지연 시간만을 보였습니다.
