この研究では、小規模言語モデル（SLM）のパフォーマンスに対するトレーニングデータの品質と量の相対的な影響をTinyStoriesデータセットを使用して実験的に分析します。データセットのサイズ（元の25％と50％）と重複率（25％、50％、75％、100％）を変更して実験を行いました。検証損失、精度、およびパープレクサ指標を使用してモデルのパフォーマンスを評価した結果、特にこの実験の規模を考慮すると、SLMの全体的なパフォーマンスはトレーニングデータの品質がより重要な役割を果たすことを示しています。最小限の冗長性はモデル精度をわずかに向上させましたが（重複率25％から精度0.87％増加）、過度な冗長性はパフォーマンスの低下を引き起こしました（重複率100％から精度40％減少）。この研究は、モデルの性能を超えて大規模なモデルトレーニングの経済的、環境的問題を考慮してAI技術の民主化に貢献できるというTakeawaysを提供します。
