Rethinking Cross-lingual Alignment: Balancing Transfer and Cultural Erasure in Multilingual LLMs
Created by
- Haebom
Category
Empty
저자
HyoJung Han, Sweta Agrawal, Eleftheria Briakou
개요
다국어 표현 정렬은 대규모 언어 모델(LLM)이 언어 간 지식을 원활하게 전송할 수 있도록 하는 것을 목표로 한다. 본 연구는 표현 수렴을 추구하는 과정에서 질의 언어에 따라 달라져야 하는 문화적 상황에 맞는 응답을 제공하는 기능적 손실, 즉 "문화적 삭제"를 초래할 수 있다는 가설을 제시한다. 이를 검증하기 위해, 바람직한 지식 전송과 바람직하지 않은 문화적 삭제를 모두 정량화하는 평가 프레임워크인 '전송-현지화 평면'을 도입하여 최근의 다국어 표현 정렬(CLA) 접근 방식을 재평가한다. 그 결과, 모든 6개 언어에서 사실적 전송이 향상되는 대가로 문화적 현지화가 일관되게 감소함을 발견했다. 모델 내부 표현 분석을 통해, 보편적인 사실적 전송과 문화 특수적 지식은 서로 다른 모델 레이어에서 최적으로 제어될 수 있다는 통찰을 얻었다. 이를 바탕으로, 두 가지 목표를 분리하는 새로운 추론 시간 방법인 '수술적 조향(Surgical Steering)'을 제안한다. 특정 레이어에 대한 표적 활성화 조향을 적용함으로써, 두 상반된 차원 사이의 더 나은 균형을 달성하고, 현재 정렬 기술의 한계를 효과적으로 극복한다.
시사점, 한계점
•
시사점:
◦
다국어 표현 정렬(CLA) 기법이 사실적 지식 전송에는 효과적이지만, 문화적 현지화를 희생시킬 수 있다.
◦
보편적 사실 전송과 문화적 지식은 서로 다른 모델 레이어에서 제어 가능하며, 이를 분리하여 활용할 수 있다.
◦
수술적 조향(Surgical Steering)은 CLA 기법의 한계를 극복하고, 지식 전송과 문화적 현지화 사이의 균형을 맞출 수 있는 새로운 접근법을 제시한다.
•
한계점:
◦
연구는 6개 언어에 대해서만 진행되었으며, 다른 언어에 대한 일반화 가능성은 추가 연구가 필요하다.
◦
수술적 조향의 성능은 다양한 모델 및 작업에 따라 달라질 수 있다.
◦
문화적 삭제의 정량화 및 측정 방법론에 대한 추가적인 검증이 필요하다.
