본 논문은 대규모 언어 모델(LLM)의 지시어 튜닝(Instruction Tuning, IT)에서 데이터 품질 평가의 중요성을 강조하며, 기존 연구에서 모델 훈련의 하이퍼파라미터를 임의로 설정하는 문제점을 지적합니다. LLM의 성능은 IT 데이터 품질과 밀접한 관련이 있으나, 동일한 데이터를 사용하더라도 서로 다른 하이퍼파라미터 설정으로 인해 모델 성능 및 데이터 품질 평가 결과가 크게 달라질 수 있음을 실험적으로 보여줍니다. LIMA 데이터와 Alpaca 데이터 일부를 사용한 실험을 통해, 하이퍼파라미터의 임의적인 선택이 잘못된 결론으로 이어질 수 있음을 입증합니다.
