Enhancing Chain-of-Thought Reasoning with Critical Representation Fine-tuning
Created by
Haebom
저자
Chenxi Huang, Shaotian Yan, Liang Xie, Binbin Lin, Sinan Fan, Yue Xin, Deng Cai, Chen Shen, Jieping Ye
개요
본 논문은 기존의 표현 미세조정(ReFT) 방법이 복잡한 추론 작업에 적용될 때 최적의 성능을 내지 못하는 한계를 지적하고, 이를 개선하기 위해 중요 표현 미세조정(CRFT) 방법을 제안합니다. ReFT는 각 계층의 고정된 표현을 수정하지만, 이러한 고정된 위치의 표현이 출력에 미치는 영향은 불확실합니다. 반면 CRFT는 정보 흐름 분석을 통해 중요한 표현을 식별하고, 저차원 선형 부분 공간 내에서 이러한 중요한 표현을 동적으로 최적화합니다. 기저 모델은 고정된 상태로 유지되며, LLaMA와 Mistral 모델 계열을 사용한 8가지 산술 및 상식 추론 벤치마크에서 효과와 효율성을 검증했습니다. 특히, 1-shot 정확도를 16.4% 향상시키는 등 소수 샷 설정에도 효과적으로 적용됩니다. 이는 CoT 추론을 위한 표현 수준 최적화의 잠재력을 보여주는 경량이면서 강력한 대안을 제시합니다.
시사점, 한계점
•
시사점:
◦
정보 흐름 분석을 통한 중요 표현 식별 및 최적화로 복잡한 추론 작업에서 ReFT의 성능 향상 가능성 제시.
