본 연구는 대규모 언어 모델(LLM)의 다국어 처리 능력에서 멀티 헤드 셀프 어텐션(MHA)의 역할을 연구합니다. Language Attention Head Importance Scores (LAHIS)라는 효율적인 방법을 제안하여, LLM을 한 번의 순방향 및 역방향 패스로 통과시켜 다국어 능력에 대한 어텐션 헤드의 중요성을 파악합니다. Aya-23-8B, Llama-3.2-3B, Mistral-7B-v0.1 모델에 LAHIS를 적용한 결과, 언어별 헤드와 언어 일반 헤드가 모두 존재함을 밝혀냈습니다. 언어별 헤드는 상호 언어 간 어텐션 전송을 가능하게 하여, 모델이 대상 언어 컨텍스트에 집중하도록 돕고, 잘못된 언어 생성을 줄여 다국어 LLM의 문제 해결에 기여합니다. 또한, XQuAD 정확도 향상을 위해 20개의 튜닝 가능한 파라미터만으로 어텐션 헤드 출력을 조절하는 경량 어댑테이션을 도입했습니다.
