본 논문은 저자원 환경에서 소형 언어 모델을 매개변수 효율적으로 미세 조정하여, 특히 소외된 언어인 우크라이나어로 된 추론 집약적 과제를 수행하는 연구이다. LLaMA 3.1, LLaMA 3.2, Gemma 2와 같은 소형 오픈 가중치 언어 모델을 ZNO-Eval 벤치마크를 기반으로, 사고 과정(chain-of-thought) 솔루션을 이용하여 미세 조정하였다. 복잡한 매칭 과제에서 최대 17.4%, 전반적으로 1.6%의 성능 향상을 달성하였으며, 특히 과제 주제와 단계별 솔루션 생성을 결합한 미세 조정 방법은 매칭 과제에서 기존 사고 과정 미세 조정보다 우수한 성능을 보였다. 2,032개의 단계별 솔루션과 2,000만~5,000만 개의 학습 가능한 매개변수를 사용하여 단일 A100 GPU로 미세 조정한 결과, GPT-4o mini, Mistral Large 등 대형 모델들을 능가하는 성능을 보였다. 또한, 양자화된 어댑터를 기본 모델과 병합하는 것이 생성 품질에 미치는 영향을 평가하였다. 소스 코드와 미세 조정된 모델은 깃허브에서 공개하였다.
