Long Chain-of-Thought Reasoning Across Languages
Created by
- Haebom
Category
Empty
저자
Josh Barua, Seun Eisape, Kayo Yin, Alane Suhr
💡 개요
본 연구는 대규모 언어 모델의 긴 사고 연쇄(Chain-of-Thought, CoT) 추론 능력이 영어 외 언어로 얼마나 확장되는지를 체계적으로 조사합니다. 이를 위해 영어로 추론하고 다른 언어로 입력받는 방식(En-CoT)과, 입력 및 추론 모두를 대상 언어로 수행하는 방식(Target-CoT)을 비교 분석했습니다. 연구 결과, 모델 크기 확장은 En-CoT 성능을 향상시키지만 Target-CoT 성능은 뒤처지며, 특히 복잡한 다단계 추론에서 이러한 격차가 심화됨을 발견했습니다.
🔑 시사점 및 한계
•
언어 간 CoT 추론 격차의 실체 확인: 영어 외 언어, 특히 복잡한 추론 과제에서 Target-CoT 성능이 En-CoT에 비해 현저히 낮다는 점을 실증적으로 보여줍니다.
•
효과적인 다국어 CoT 학습 전략 제시: 광범위한 다국어 사전 학습이 Target-CoT 성능을 동시에 향상시키는 반면, 특정 언어 추론 단계 추가는 오히려 성능을 저하시킬 수 있음을 밝혀냈습니다. 또한, 자동 번역된 영어 CoT 데이터를 활용한 후처리 학습이 효과적임을 입증했습니다.
•
데이터 부족 문제와 해결 방향: 영어 외 언어의 고품질 CoT 데이터 부족 문제를 지적하고, 번역된 합성 데이터를 활용한 후처리 학습이라는 구체적인 해결 방안을 제시했습니다.
•
향후 연구 과제: 언어별 추론 효율성의 차이와 언어별 특성에 따른 CoT 실패 모드를 추가적으로 탐색하고, 이를 개선하기 위한 연구가 필요합니다.
