본 논문은 다국어 언어 모델(LLM)에서 언어와 분리된 보편적인 개념 표현이 존재하는지 여부를 조사합니다. 변환기 기반 LLM에서 단어 번역 작업 중 잠재 표현(잠재 변수)을 분석하여, 소스 번역 프롬프트에서 잠재 변수를 추출하고 이를 타겟 번역 프롬프트의 순전파에 삽입하는 방식을 사용합니다. 그 결과, 출력 언어는 번역될 개념보다 더 이른 레이어에서 잠재 변수에 인코딩됨을 발견했습니다. 이러한 통찰력을 바탕으로, 활성화 패치만으로 개념을 변경하면서 언어는 유지하고 그 반대의 경우도 가능함을 보였습니다. 또한, 다양한 언어에서 개념의 평균 표현으로 패치하는 것이 모델의 번역 능력에 영향을 미치지 않고 오히려 향상시킴을 보였습니다. 마지막으로, 다중 토큰 생성으로 일반화하여 모델이 이러한 평균 표현에 대한 자연어 설명을 생성할 수 있음을 보였습니다. 연구 결과는 조사된 모델 내에 언어와 무관한 개념 표현이 존재한다는 증거를 제공합니다.
