본 논문은 코드 검색 작업을 위한 10억 파라미터의 모듈형 다중 출구 인코더인 MODULARSTARENCODER를 제시한다. 기존의 지식 증류 방식의 비효율성을 해결하기 위해, 자체 지식 증류 메커니즘을 통해 하위 계층 표현을 개선하여 모델의 크기를 줄이면서 성능을 유지한다. 다중 출구 구조를 통해 상위 계층이 하위 계층을 지도하는 자체 지식 증류 효과를 달성하여 중간 표현을 개선하고 추가적인 훈련 비용 없이 검색 재현율을 높인다. 또한, 훈련 컨텍스트 창을 최대한 활용하는 저장소 수준의 문맥 손실을 통합하고, 코드 번역을 통해 구성된 새로운 데이터셋을 공개하여 기존 텍스트-코드 벤치마크를 다양한 프로그래밍 언어의 코드-코드 쌍으로 확장한다. 실험 결과는 다중 출구 감독을 통한 자체 지식 증류의 이점을 강조한다.
