본 논문은 In-context Learning (ICL)에서 Language Model (LM)의 성능 향상을 위해 Attention Behavior Fine-Tuning (ABFT) 기법을 제안합니다. 기존의 end-to-end 방식의 ICL fine-tuning은 높은 계산 비용이 소요되는 반면, ABFT는 attention score에 대한 학습 목표를 설정하여 잘못된 label token에 대한 attention을 줄이고, 정답 label token에 대한 attention을 강화함으로써 효율성을 높입니다. 9개의 최신 LM과 8개의 데이터셋을 이용한 실험 결과, ABFT는 성능, 견고성, 객관성, 효율성 측면에서 기존 방법보다 우수하며, 데이터 비용은 약 0.01% 수준에 불과함을 보였습니다. 또한, end-to-end 학습 목표가 ABFT 목표를 포함하고 있음을 분석하여, ICL 스타일 데이터의 내재적 편향이 induction head의 출현에 영향을 미침을 시사합니다. 이 연구는 LM 내 특정 모듈 시퀀스를 제어하여 동작을 개선할 수 있는 가능성을 보여주며, 기계적 해석 가능성의 미래 응용에 대한 새로운 가능성을 제시합니다.
