본 연구는 소규모 언어 모델(SLM)의 성능에 대한 훈련 데이터의 질과 양의 상대적 영향을 TinyStories 데이터셋을 이용하여 실증적으로 분석합니다. 데이터셋 크기(원본의 25%, 50%)와 중복률(25%, 50%, 75%, 100%)을 변화시켜 실험을 진행하였고, 검증 손실, 정확도, 퍼플렉서티를 평가 지표로 사용했습니다. 실험 결과, 특히 본 연구의 규모에서는 훈련 데이터의 질이 SLM의 전반적인 성능에 더 큰 영향을 미치는 것으로 나타났습니다. 적절한 수준의 중복은 모델 정확도를 향상시켰으나(중복률 25%에서 정확도 0.87% 증가), 과도한 중복은 성능 저하를 초래했습니다(중복률 100%에서 정확도 40% 감소). 이러한 연구 결과는 모델 성능 개선을 넘어, 대규모 모델 훈련의 높은 비용과 환경적 문제 해결에 대한 시사점을 제공합니다. 데이터 질의 중요성을 이해하는 것은 AI 기술의 민주화를 가능하게 하고, 고급 모델을 더욱 접근 가능하고 지속 가능하게 만들 수 있습니다.
