Towards Understanding What State Space Models Learn About Code

Created by

Haebom

저자

Jiali Wu, Abhinav Anand, Shweta Verma, Mira Mezini

💡 개요

본 연구는 코드 이해 작업에서 트랜스포머의 대안으로 부상한 상태 공간 모델(SSM)이 학습하는 내용을 체계적으로 분석합니다. 코드 검색과 같은 작업에서 SSM이 트랜스포머를 능가하는 성능을 보였지만, 내부 동작 방식은 명확히 밝혀지지 않았습니다. 연구팀은 SSM이 사전 학습 단계에서 코드의 문법과 의미론적 관계를 더 잘 포착하지만, 특정 태스크 미세 조정 시 단기 의존성에 대한 학습이 약해지는 현상을 발견했으며, 이를 해결하기 위한 아키텍처 개선안을 제시합니다.

🔑 시사점 및 한계

•

SSM은 사전 학습 단계에서 코드의 문법 및 의미론적 특징을 트랜스포머보다 효과적으로 학습할 수 있습니다.

•

미세 조정 과정에서 SSM은 단기 의존성 학습에 취약점을 보일 수 있으며, 이는 주파수 영역 분석을 통해 '스펙트럼 이동' 현상으로 진단될 수 있습니다.

•

본 연구에서 제안된 아키텍처 수정은 SSM 기반 코드 모델의 성능을 크게 향상시켜, 분석이 모델 개선에 직접적으로 기여함을 입증합니다.

PDF 보기

Made with Slashpage