본 논문은 분류를 위해 LLM을 미세 조정할 때, 각 레이블에 간략한 설명을 추가하는 것이 모델 성능 향상에 기여하는지 연구합니다. 실험을 통해 70억 개의 파라미터를 가진 모델을 미세 조정하고, 6개의 다양한 대화 데이터 세트에 대해 평가했습니다. 18개의 데이터 세트와 작업 설정에서 레이블-플러스-설명 훈련이 레이블-전용 기반 모델보다 우수한 성능을 보였습니다. 특히, 의미론적 내용이 없는 무작위 토큰(단어 순서가 섞인 텍스트 등)으로 대체된 가짜 설명도 레이블-전용 훈련보다 성능을 향상시키는 예상치 못한 결과를 보였습니다. 이는 추가 토큰 예산이 중간 계산을 풍부하게 하고 과도한 확신으로 인한 지름길을 줄이는 정규화 역할을 함을 시사합니다. 설명이 추가된 모델은 중간 레이어에서 더 높은 활성화 엔트로피를 보였으며, 이는 결정 전 숙고의 증가와 일치합니다.
