본 논문은 자동화된 말하기 평가(ASA) 시스템에서 자기 지도 학습(SSL) 기반의 새로운 모델링 전략을 제시합니다. 기존 ASA는 자동 음성 인식(ASR)과 ASR 결과물에서 추출된 수동 특징을 사용하지만, 본 논문은 SSL의 우수한 성능을 활용하여 제한된 주석 데이터, 불균형한 학습자 수준 분포, 비균일한 CEFR 수준 간 점수 간격 등의 데이터 관련 문제를 해결하고자 합니다. 이를 위해 거리 기반 분류와 손실 가중치 재조정이라는 두 가지 새로운 모델링 전략을 제안하고, ICNALE 벤치마크 데이터셋을 사용하여 실험을 진행합니다. 그 결과, 기존 최고 성능 모델들을 상당한 차이로 능가하며, CEFR 예측 정확도를 10% 이상 향상시키는 것을 확인하였습니다.