One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging
작성자
카테고리
Empty
저자
Baban Gain, Trilok Nath Singh, Asif Ekbal
💡 개요
본 연구는 다국어 기계 번역에서 가중치 공간 모델 병합의 효과를 체계적으로 탐구합니다. 독립적으로 파인튜닝된 언어 모델들을 병합하는 다양한 전략을 실험한 결과, 목표 언어가 공유될 때 병합이 다국어 성능 향상에 효과적이지만 개별 언어 모델의 최고 성능을 유지하지는 못한다는 것을 발견했습니다. 반면, 목표 언어가 다를 경우 성능이 급격히 저하되는 비대칭적인 현상이 나타났습니다.
🔑 시사점 및 한계
•
다국어 모델 병합은 목표 언어가 공유될 때 긍정적인 효과를 기대할 수 있으나, 성능 저하를 완벽히 방지하기는 어렵습니다.
•
가중치 공간 모델 병합의 실패는 파인튜닝 과정에서 생성되는 내부 표현 간의 호환되지 않는 기하학적 구조에서 기인하며, 이는 기존 병합 기법의 가정을 재검토하게 만듭니다.
•
현재의 가중치 공간 모델 병합 기법으로는 다국어 기계 번역에서 발생하는 목표 언어 간의 충돌 문제를 효과적으로 해결하기 어렵다는 한계가 있습니다.