Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

작성자

Haebom

카테고리

Empty

저자

Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

💡 개요

본 연구는 많은 수의 예시를 활용하는 In-Context Learning(ICL), 특히 Chain-of-Thought(CoT) 방식이 추론 작업에서 보이는 확장성을 탐구합니다. 연구진은 CoT-ICL이 단순한 패턴 매칭이 아닌, 추론 과정에서의 학습으로 작용한다는 것을 발견하고, 시연 예시의 이해 용이성과 개념적 진행에 따른 순서화를 중요하게 제시합니다. 이를 바탕으로 제안된 Curvilinear Demonstration Selection(CDS) 방법론은 수학 추론 작업에서 성능 향상을 가져왔습니다.

🔑 시사점 및 한계

•

CoT-ICL은 단순히 예시를 암기하는 것이 아니라, 주어진 맥락 안에서 테스트 시점에 추론 능력을 학습하는 과정으로 이해될 수 있습니다.

•

많은 수의 예시를 활용할 때, 예시의 난이도와 순서가 모델의 학습 효율성에 지대한 영향을 미칩니다.

•

제안된 CDS 방법은 특정 수학 추론 작업에서 유의미한 성능 향상을 보였으나, 다른 종류의 추론 작업이나 다양한 규모의 모델에 대한 일반화 가능성은 추가적인 검증이 필요합니다.

•

긴 컨텍스트 창을 단순한 정보 검색 공간이 아닌, 구조화된 학습 커리큘럼으로 활용할 수 있다는 새로운 관점을 제시합니다.

PDF 보기

Made with Slashpage