본 논문은 코드 이해 작업(코드 검색, 분류, 복제 탐지 등)에서 트랜스포머의 대안으로 상태 공간 모델(SSMs)을 제시합니다. 기존 연구에서 SSMs가 트랜스포머보다 계산 효율이 높다는 것이 증명되었으며, 본 논문에서는 SSMs가 더 적은 데이터로도 효과적이며, 사전 학습 컨텍스트를 넘어 더 긴 컨텍스트로 외삽할 수 있음을 보여줍니다. 실험 결과, SSMs가 트랜스포머의 주요 한계점들을 해결하면서 코드 이해 작업에 대한 실행 가능한 대안이 될 수 있음을 보여줍니다.
