Exploring the Effectiveness of Multi-stage Fine-tuning for Cross-encoder Re-rankers
Created by
Haebom
저자
Francesca Pezzuti, Sean MacAvaney, Nicola Tonellotto
개요
본 논문은 최첨단 교차 인코더를 이용한 문장 재순위 지정(passage re-ranking)에서 단일 단계 대비 다단계 미세 조정의 효과를 체계적으로 조사합니다. 기존 교차 인코더 미세 조정은 많은 수동 레이블 데이터, 대조 학습 목표, 그리고 휴리스틱하게 샘플링된 부정적인 예시들을 필요로 합니다. 반면 최근에는 대규모 언어 모델의 순위를 모방하도록 모델을 학습시키는 증류 목표를 이용하는 방법이 제시되었습니다. 본 연구는 대조 학습을 이용한 단일 단계 미세 조정과 다단계 미세 조정의 성능을 비교 분석하며, 단일 단계 대조 학습 기반 미세 조정의 효과가 다단계 접근 방식과 동등함을 보여줍니다. 재현 가능한 코드는 https://github.com/fpezzuti/multistage-finetuning 에서 확인할 수 있습니다.
시사점: 단일 단계 대조 학습 기반 미세 조정만으로도 다단계 미세 조정 방식과 유사한 성능을 달성할 수 있음을 보여줌으로써, 데이터 및 계산 비용을 절감할 수 있는 가능성을 제시합니다.
•
한계점: 본 연구는 특정한 데이터셋과 모델에 대한 실험 결과에 기반하고 있으므로, 다른 데이터셋이나 모델에 대한 일반화 가능성은 추가적인 연구가 필요합니다. 또한, 휴리스틱하게 샘플링된 부정적인 예시의 영향에 대한 심층적인 분석이 부족합니다. 다양한 대조 학습 방법이나 증류 방법에 대한 비교 분석이 추가적으로 필요할 수 있습니다.
