본 논문은 대규모 언어 모델(LLM)이 생성한 주석을 사용하여 검색 모델을 학습하는 것을 연구합니다. 기존 검색 모델 학습에는 비용이 많이 드는 수동 주석이 필요하지만, 본 연구는 LLM이 생성한 유틸리티 기반 주석을 활용하여 이 문제를 해결하고자 합니다. LLM의 유틸리티 판단을 활용하여 대규모 검색 데이터를 주석화하고, LLM이 생성한 낮은 품질의 양성 데이터의 영향을 줄이기 위해 새로운 손실 함수인 Disj-InfoNCE를 설계했습니다. 실험 결과, 유틸리티 중심 주석으로 학습된 검색 모델은 도메인 외 설정에서 기존 수동 주석 기반 모델보다 성능이 뛰어나며, 일반화 능력이 우수함을 보였습니다. 도메인 내 설정에서는 수동 주석을 완전히 대체하지 못했지만, 20%의 수동 주석 데이터만 추가해도 수동 주석으로만 학습된 모델과 동등한 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 유틸리티 주석을 활용하여 대규모 검색 모델 학습 데이터를 효율적으로 생성할 수 있음을 보여줌.
◦
도메인 외 설정에서 LLM 주석 기반 모델이 수동 주석 기반 모델보다 우수한 일반화 성능을 보임.
◦
소량의 수동 주석 데이터와 결합하여 LLM 주석 기반 모델의 성능을 극대화할 수 있음.
•
한계점:
◦
도메인 내 설정에서는 LLM 주석이 수동 주석을 완전히 대체하지 못함.
◦
LLM이 생성한 낮은 품질의 양성 데이터를 효과적으로 처리하기 위한 추가적인 연구가 필요함.
