본 논문은 영어 중심으로 사전 훈련된 다국어 대규모 언어 모델의 추론 능력에 대한 연구 결과를 제시합니다. 긴 사고 과정(long chain-of-thoughts, CoTs)을 이용한 영어 추론 파인튜닝이 다양한 언어, 특히 저자원 언어에서도 얼마나 일반화되는지 조사했습니다. 연구 결과, 영어 중심 추론 언어 모델(RLM)의 추론 연산을 확장하면 다국어 수학적 추론 능력이 향상되어, 모델 크기의 두 배인 모델보다 성능이 뛰어나다는 것을 발견했습니다. 또한, 영어 중심 RLM의 CoTs는 주로 영어를 사용하지만, 비영어 입력에 대해서는 인용-생각 패턴을 일관되게 따른다는 것을 밝혔습니다. 긴 CoT 추론의 언어를 제어하는 효과적인 전략을 발견했으며, 고자원 언어에서 모델의 추론 능력과 효율성이 더 높다는 것을 확인했습니다. 하지만, 영어의 경우에도 STEM 영역에서 일반 상식 지식으로의 도메인 외 추론 일반화는 저조했습니다. 결론적으로, 영어 중심 RLM은 고자원 언어로 추론하는 것이 효율적이며, 저자원 언어 및 도메인 외 환경에서의 추론 능력 향상을 위한 추가 연구가 필요함을 시사합니다.
