본 논문은 대규모 언어 모델(LLM)의 최신 정보 암기 및 추출 능력에 대한 연구 결과를 제시합니다. LLM은 파인튜닝을 통해 새로운 정보를 학습하지만, '퍼플렉서티 저주' 현상으로 인해 프롬프트를 통해 정보 추출에 어려움을 겪습니다. 특히, 파인튜닝에 사용된 문서의 중간이나 끝 부분에 있는 정보는 정확하게 추출하지 못하는 경향이 있습니다. 이는 오토리그레시브 학습 방식으로 인해 이전 토큰에 대한 의존성이 높아져 질문 프롬프트를 통해 정보를 회상하는 데 어려움을 겪기 때문이라고 논문은 주장합니다. 합성 및 실제 데이터셋을 공개하여 질문 응답 성능을 문서 내 답변 위치에 따라 평가하고, 대규모 모델도 퍼플렉서티 저주에 영향을 받지만, 잡음 제거 오토리그레시브 손실과 같은 정규화 기법이 다양한 위치에서의 정보 추출 성능을 향상시킬 수 있음을 보여줍니다.
