본 논문은 개방형 생성 과제(예: 이야기 쓰기, 대화)에서 대규모 언어 모델이 문화적 편향을 보이는 현상을 다룬다. 특히, 덜 흔한 문화에 대한 지식이 부족하고 정형화된 결과물을 생성하는 경향을 분석한다. 이는 사전 학습 데이터의 불균형적인 문화적 표현 때문일 수 있다는 기존 연구 결과를 바탕으로, 모델이 사전 학습 데이터 패턴에 따라 어떻게 실체를 문화와 연결하는지 분석하여 편향된 문화 조건 생성의 원인을 조사한다. 이를 위해 MEMOed 프레임워크(사전 학습 문서에서의 기억화)를 제안하여 문화 조건 생성이 기억화에 의한 것인지 판별한다. 110개 문화의 음식과 의복에 대한 문화 조건 생성에 MEMOed를 적용한 결과, 사전 학습 데이터에서 고빈도 문화는 기억된 기호를 사용한 생성이 많았지만, 저빈도 문화는 생성이 없는 경우도 있었다. 또한, 모델은 관련성에 관계없이 사전 학습 데이터에서 매우 높은 빈도의 실체를 생성하는 경향을 보였다. 본 연구는 MEMOed 프레임워크와 통찰력을 통해 모델 성능을 사전 학습 데이터에 귀속시키는 연구를 촉진하고자 한다.
