Optimizing Generative Ranking Relevance via Reinforcement Learning in Xiaohongshu Search
Created by
Haebom
Category
Empty
저자
Ziyang Zeng, Heming Jing, Jindong Chen, Xiangli Li, Hongyu Liu, Yixuan He, Zhengyu Li, Yige Sun, Zheyong Xie, Yuqing Yang, Shaosheng Cao, Jun Fan, Yi Wu, Yao Hu
개요
Xiaohongshu 검색에서의 관련성 모델링을 위한 강화 학습 기반 추론 프레임워크를 소개합니다. 이 프레임워크는 해석 가능성과 성능 향상을 위해 구체적인 추론을 활용하며, 특히 현실적인 비즈니스 관련 기준을 포함한 다단계 추론 프롬프트 디자인과 Stepwise Advantage Masking (SAM)을 통해 개선된 크레딧 할당을 통해 이러한 기준의 효과적인 학습을 촉진합니다. 또한, 산업 배포를 위해 대규모 RL 튜닝 모델을 경량화된 버전으로 증류합니다.
시사점, 한계점
•
시사점:
◦
강화 학습을 활용한 구체적인 추론을 통해 관련성 모델링의 해석 가능성과 성능을 향상시켰습니다.
◦
실질적인 비즈니스 관련 기준을 추론 프롬프트에 통합하여 실제 검색 시스템에 적합한 모델을 개발했습니다.
◦
Stepwise Advantage Masking (SAM) 기법을 통해 효과적인 크레딧 할당을 달성했습니다.
