본 논문은 다국어 대규모 언어 모델(mLLMs)에서 언어 간 표현 정렬의 중요성을 강조하며, 계산 비용이 많이 드는 미세 조정 대신 모델 개입(model interventions)이라는 데이터 효율적인 대안을 제시합니다. 특히 '전문가 찾기(finding experts)'라는 개입 방법을 사용하여 mLLMs의 활성화를 조작함으로써 언어 간 표현 정렬을 향상시키는 효과를 분석합니다. 구체적으로 특정 언어에 대한 조작 대상 뉴런을 식별하고, 조작 전후의 mLLMs 임베딩 공간을 분석하여 교차 언어 정렬이 향상됨을 보여줍니다. 또한, 임베딩 공간의 변화가 검색 작업의 성능 향상으로 이어지며, 교차 언어 검색에서 최대 2배의 top-1 정확도 향상을 달성함을 실험적으로 증명합니다.
시사점, 한계점
•
시사점:
◦
모델 미세 조정 없이 데이터 효율적으로 다국어 대규모 언어 모델의 교차 언어 표현 정렬을 향상시키는 방법을 제시합니다.
◦
'전문가 찾기'와 같은 모델 개입 기법을 통해 임베딩 공간을 조작하여 교차 언어 검색 성능을 향상시킬 수 있음을 보여줍니다.
◦
교차 언어 검색 작업에서 상당한 성능 향상 (최대 2배의 top-1 정확도 향상)을 달성합니다.
•
한계점:
◦
제시된 방법이 특정 개입 기법('전문가 찾기')과 검색 작업에 국한되어 다른 작업이나 개입 기법으로의 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
분석 대상이 특정 mLLM에 국한되어 다른 mLLM 모델에 대한 일반화 가능성을 검증해야 합니다.
