본 논문은 대규모 언어 모델(LLM)을 이용한 데이터 생성의 증가 추세 속에서, 평가 벤치마크 생성의 어려움을 다룹니다. 특히, 특정 현상을 목표로 하고, 지름길을 이용하는 것을 제재하며, 도전적인 벤치마크를 만드는 것이 중요함을 강조합니다. 두 가지 사례 연구(CondaQA와 DROP)를 통해 LLM이 부정에 대한 추론과 수량에 대한 추론을 평가하는 고품질 독해 데이터셋의 변형을 생성할 수 있는지, 그리고 인간이 만든 데이터셋과 비교하여 유효성과 난이도를 평가합니다. LLM 프롬프팅을 통해 비용 효율적으로 유효한 데이터셋 변형을 생성할 수 있음을 보이지만, LLM이 인간이 만든 데이터셋보다 LLM이 생성한 데이터셋을 더 쉽게 풀 수 있음을 발견합니다. 이는 LLM을 이용한 데이터 생성 방식의 한계를 보여주며, LLM 기반 벤치마크 생성에 대한 재고를 촉구합니다.
