본 연구는 대규모 언어 모델(LLM)이 문헌 추천 시 가짜 논문을 생성하는 문제점을 해결하기 위해, LLM의 정확한 정보 생성 능력이 해당 지식의 생성 또는 암기에 따라 달라진다는 가설을 검증한다. 특히, 인용 횟수를 훈련 데이터 중복성(사전 훈련 데이터에서 주어진 참고 문헌이 반복적으로 표현되는 빈도)의 대리 변수로 사용하여, 인용 빈도가 LLM 출력에서 가짜 참고 문헌에 미치는 영향을 조사했다. GPT-4.1을 사용하여 20개의 컴퓨터 과학 분야에서 100개의 참고 문헌을 생성하고, 생성된 메타데이터와 실제 메타데이터 간의 코사인 유사성을 통해 사실적 일관성을 측정했다. 연구 결과, 인용 빈도가 높을수록 정확도가 높았으며, 약 1,000회 이상 인용된 논문은 거의 그대로 암기되는 경향을 보였다.
