본 논문은 전자상거래 검색에서 질의와 상품의 관련성 예측을 향상시키기 위한 새로운 프레임워크인 LLM 기반 RElevance Framework (LREF)를 제안한다. 기존 BERT 기반 모델의 한계를 극복하기 위해 대규모 언어 모델(LLM)을 활용하여 광범위한 지식과 유연한 추론 과정을 제공한다. LREF는 데이터 선택을 통한 지도 학습 미세 조정(SFT), 다중 사고 과정(Multi-CoT) 조정, 그리고 편향 제거를 위한 직접적 선호도 최적화(DPO)의 세 단계로 구성된다. 대규모 실제 데이터셋을 이용한 오프라인 실험과 온라인 A/B 테스트를 통해 성능을 평가하여 상당한 성능 향상과 상업적 이익을 확인하였다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 전자상거래 검색의 질의-상품 관련성 예측 성능을 크게 향상시킬 수 있음을 보여줌.
◦
제안된 LREF 프레임워크는 SFT, Multi-CoT, DPO를 통해 LLM의 장점을 효과적으로 활용하고 단점을 완화함.
