Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics
Created by
Haebom
저자
Carter Blum, Katja Filippova, Ann Yuan, Asma Ghandeharioun, Julian Zimmert, Fred Zhang, Jessica Hoffmann, Tal Linzen, Martin Wattenberg, Lucas Dixon, Mor Geva
개요
본 논문은 대규모 언어 모델(LLMs)이 다국어 지식 전이에 어려움을 겪는 현상, 특히 훈련 중 다른 언어로 표현된 사실에 대해 한 언어로 질문했을 때 환각하는 현상을 연구합니다. 합성 다국어 데이터셋으로 소규모 Transformer 모델을 처음부터 훈련하여 이 현상의 원인과 역학을 연구하기 위한 통제된 환경을 제시합니다. 모델이 언어 간 동일한 사실에 대해 별개의 표현 또는 통합된 표현을 개발하는 학습 단계를 확인하고, 다국어 전이를 위해서는 통합이 필수적임을 보여줍니다. 또한 통합 정도는 사실과 훈련 데이터 언어 간의 상호 정보와 언어 추출의 용이성에 따라 달라짐을 보여줍니다. 이러한 통찰력을 바탕으로 데이터 분포와 토큰화를 조작하여 다국어 전이 수준을 조절하는 방법을 개발하고, 통합에 대한 영향을 공식적으로 특징짓는 지표와 시각화를 제시합니다. 이 연구는 통제된 환경이 사전 훈련 역학을 밝히는 데 어떻게 기여할 수 있는지 보여주고, LLMs의 다국어 전이 개선을 위한 새로운 방향을 제시합니다.
시사점, 한계점
•
시사점:
◦
다국어 지식 전이 과정에서 LLMs의 환각 현상에 대한 원인 및 역학 분석을 위한 새로운 통제된 환경 제시.
