Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLMs Are Globally Multilingual Yet Locally Monolingual: Exploring Knowledge Transfer via Language and Thought Theory

Created by
  • Haebom

저자

Eojin Kang, Juae Kim

개요

다국어 대규모 언어 모델(LLMs)은 여러 언어의 정보 활용 가능성을 열지만, 사실적 지식 회상은 입력 언어에 따라 일관성이 없다는 문제점이 있습니다. 기존 연구는 영어 기반 프롬프팅 및 평가를 통해 이 문제를 해결하려고 시도했지만, 본 연구는 언어와 사고 이론을 통해 비영어에서 영어로의 전이를 탐구합니다. 이 관점을 통해 LLM에서 언어-사고 결합을 조사하고 사실적 지식이 효과적으로 전이되지 않는 이유를 밝힙니다. 본 연구는 입력 언어, 내부 인지 과정 및 지식 간의 관계를 분석하는 Language-to-Thought (L2T) 프롬프팅 전략을 제안합니다. 실험 결과는 영어 기반 접근 방식이 다른 언어보다 일관되게 우수하다는 가정에 이의를 제기하며, 모델의 내부 사고를 작업에 필요한 지식과 정렬하는 것이 성공적인 교차 언어 전이에 중요하다는 새로운 통찰력을 제공합니다. 또한, 훈련 중에 L2T를 적용하면 LLM이 입력 언어에 대한 의존성을 줄이고 번역 기반 학습 없이 교차 언어 지식 통합을 용이하게 할 수 있음을 보여줍니다. 코드와 데이터셋은 공개될 예정입니다.

시사점, 한계점

시사점:
영어 중심의 접근 방식이 항상 최고의 성능을 보장하는 것은 아님을 보여줌.
L2T 프롬프팅 전략을 통해 교차 언어 지식 전이 향상 가능성 제시.
모델의 내부 사고와 작업 지식의 정렬 중요성 강조.
번역 기반 학습 없이 교차 언어 지식 통합 가능성 제시.
한계점:
제시된 L2T 프롬프팅 전략의 일반화 가능성 및 다양한 LLM에 대한 적용성 추가 연구 필요.
사용된 데이터셋과 모델의 특징이 결과에 미치는 영향에 대한 심층 분석 필요.
L2T 프롬프팅 전략의 계산 비용 및 효율성에 대한 추가적인 검토 필요.
👍