ModularStarEncoder (MoSE)는 코드 검색 및 분류를 위한 10억 매개변수 다중 출구 인코더로, 새로운 자기 증류 메커니즘을 사용합니다. 기존의 모델 증류는 모델 크기를 줄이지만 별도의 모델을 훈련하는 데 상당한 비용이 발생하는 반면, MoSE는 특정 인코더 계층을 출구 헤드로 지정하여 텍스트-코드 및 코드-코드 검색 성능을 향상시킵니다. 고차원 계층이 저차원 계층을 안내하는 자기 증류를 통해 최소한의 추가 비용으로 중간 표현을 개선하며, 저장소 수준의 상황적 손실을 추가하여 훈련 컨텍스트 창 활용을 극대화합니다. 또한, 코드 번역을 통해 생성된 새로운 데이터셋을 공개하여 텍스트-코드 벤치마크를 다국어 코드-코드 쌍으로 확장합니다. 다양한 코드 이해 작업에서 추론 비용과 정확도 간의 절충을 위한 원칙적인 접근 방식으로 자기 증류의 효과를 보여줍니다.
