본 논문은 자연어 처리(NLP) 시스템에서 인간의 어노테이션 비용을 줄이기 위해 합성 데이터 생성을 활용하는 연구를 다룹니다. 사실 검증(FV)과 질의응답(QA) 작업에서 8개의 다양한 데이터셋을 사용하여 인간이 생성한 데이터를 합성 데이터로 점진적으로 대체하는 효과를 분석합니다. 훈련 데이터의 최대 90%를 합성 데이터로 대체해도 성능 저하가 미미하지만, 나머지 10%를 대체하면 성능이 크게 저하됨을 발견했습니다. 순수하게 합성 데이터로 훈련된 모델은 125개의 인간 생성 데이터만 추가해도 성능이 향상되며, 추가 인간 데이터(200개)에 의한 성능 향상을 얻기 위해서는 훨씬 많은 양의 합성 데이터가 필요함을 보여줍니다. 결과적으로 인간 어노테이션의 대규모 확보가 어려운 경우에도, 소량의 인간 생성 데이터를 포함하는 것이 큰 가치가 있음을 시사합니다.
