Effectiveness of Zero-shot-CoT in Japanese Prompts
Created by
- Haebom
Category
Empty
저자
Shusuke Takayama, Ian Frank
개요
본 논문은 ChatGPT-3.5와 GPT-4o-mini를 사용하여 일본어와 영어에서 제로샷 사고 과정(CoT) 프롬프팅의 효과를 비교 분석했습니다. 제로샷 CoT는 프롬프트에 "Let's think step by step"과 같은 구절을 추가하여 답변 전 추론을 유도하는 기법으로, 특히 영어에서 수학 및 추론 과제의 LLM 성능 향상을 보여주었습니다. 연구진은 일본어 다중 작업 언어 이해 벤치마크(JMMLU)와 다중 작업 언어 이해 벤치마크(MMLU)를 사용하여 이러한 효과가 일본어로 어떻게 전이되는지 조사했습니다. 그 결과, GPT-3.5의 경우 특정 프롬프트 범주에서 제로샷 CoT 프롬프팅이 상당한 성능 향상으로 이어질 수 있지만, GPT-4o-mini에서는 성능 저하와 관련이 있음을 보였습니다. 그러나 더 발전된 모델에서 효과가 감소하는 경향에도 불구하고, 일본어 프롬프트의 경우 대학 수학 및 추상 대수와 같은 특정 범주는 여전히 성능 향상을 보였습니다.
시사점, 한계점
•
시사점: 제로샷 CoT 프롬프팅의 효과는 모델과 언어에 따라 다르게 나타납니다. GPT-3.5에서는 특정 범주에서 효과적이지만, GPT-4o-mini에서는 오히려 성능 저하를 야기할 수 있습니다. 그러나 일본어에서도 특정 전문 분야(예: 대학 수학, 추상 대수)에서는 여전히 성능 향상을 가져올 수 있습니다.
•
한계점: 본 연구는 특정 모델과 벤치마크에 국한되어 일반화에 제한이 있습니다. 더 다양한 모델과 벤치마크를 사용한 추가 연구가 필요합니다. 또한, "Let's think step by step" 이외의 다른 CoT 프롬프팅 기법에 대한 연구가 필요합니다. 성능 향상을 보인 특정 범주에 대한 심층적인 분석이 부족합니다.
