Does Training on Synthetic Data Make Models Less Robust?
Created by
Haebom
Category
Empty
저자
Lingze Zhang, Ellie Pavlick
개요
본 논문은 대규모 언어 모델(LLM)을 훈련하는 데 점점 더 많이 사용되는 합성 데이터가 LLM의 '맹점'을 악화시킬 수 있는지 여부를 조사합니다. Llama-2-7B-hf 모델을 사용하여 자연어 추론(NLI) 작업에서 시뮬레이션 실험을 수행합니다. MultiNLI를 일반 작업으로, 특정 휴리스틱 전략의 존재를 측정하도록 설계된 HANS를 '맹점' 작업으로 사용하여 합성 데이터가 일반 작업과 맹점 작업 간의 성능 차이를 유발하는지 여부를 확인합니다.
시사점, 한계점
•
시사점: 합성 데이터를 사용한 미세 조정이 LLM의 휴리스틱 사용을 악화시키지 않음을 보여줍니다. 기존 가설과 달리, 맹점을 강화하지 않음을 발견했습니다.
•
한계점: 본 연구는 Llama-2-7B-hf 모델과 특정 NLI 작업(MultiNLI, HANS)에 국한되어 있으며, 다른 LLM이나 작업에 대한 일반화 가능성은 제한적입니다. 또한, 합성 데이터 생성 방식이나 다양한 맹점 유형에 대한 고려가 부족할 수 있습니다.
