Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
Author
- Haebom
Category
Empty
저자
Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung
💡 개요
본 연구는 추론 작업에서 다수의 예시를 활용하는 Chain-of-Thought In-Context Learning(CoT-ICL)의 작동 방식을 탐구합니다. 연구진은 CoT-ICL을 단순 패턴 매칭이 아닌 'In-Context Test-Time Learning'으로 해석하고, 쉬운 이해와 개념적 점진적 발전을 지원하는 예시 선택 및 순서 결정의 중요성을 강조합니다. 이를 기반으로 제안된 Curvilinear Demonstration Selection (CDS) 방법은 수학 과제에서 64개의 예시 사용 시 최대 5.42%p의 성능 향상을 보여주었습니다.
🔑 시사점 및 한계
•
많은 예시를 사용하는 In-Context Learning (ICL)이 단순히 정보를 검색하는 것이 아니라, 모델이 학습하는 과정임을 시사합니다.
•
추론 작업에서 CoT-ICL의 효과를 극대화하기 위해서는 예시의 내용과 순서가 매우 중요하며, 체계적인 '커리큘럼'처럼 구성되어야 합니다.
•
제안된 Curvilinear Demonstration Selection (CDS) 방법은 예시의 순서를 조절하여 성능을 향상시킬 수 있는 효과적인 방법임을 보여줍니다.
•
다양한 종류의 추론 작업과 모델에 대한 CDS 방법의 일반화 가능성을 추가적으로 검증할 필요가 있습니다.
