본 논문은 대규모 언어 모델(LLM)의 다국어 및 교차 언어 기억 능력을 조사합니다. 영어를 포함한 10개 언어의 20권의 책에서 발췌한 31,500개의 정렬된 구절로 구성된 OWL 데이터셋을 사용하여, 한 언어(예: 영어)에서 기억된 내용이 번역된 형태로 제시되었을 때도 회상되는지 여부를 조사합니다. 직접적인 조사, 이름 빈칸 채우기, 접두사 조사 세 가지 과제를 통해 모델 계열과 크기에 따른 기억 능력을 평가합니다. 그 결과, LLM은 사전 학습 데이터에 직접적인 번역이 없더라도 언어 간에 일관되게 내용을 기억하는 것으로 나타났습니다. 예를 들어 GPT-4o는 새롭게 번역된 발췌문에서 저자와 제목을 69%의 확률로, 가려진 개체를 6%의 확률로 식별했습니다. 문자 마스킹이나 단어 섞기와 같은 섭동은 직접 조사 정확도를 다소 감소시켰습니다 (섞인 공식 번역의 경우 7% 감소). 본 연구는 교차 언어 기억의 범위를 강조하고 모델 간의 차이에 대한 통찰력을 제공합니다.
