MHSNet:An MoE-based Hierarchical Semantic Representation Network for Accurate Duplicate Resume Detection with Large Language Model
Created by
Haebom
저자
Yu Li, Zulong Chen, Wenjian Xu, Hong Wen, Yipeng Yu, Man Lung Yiu, Yuyu Yin
개요
본 논문은 기업의 인재풀 유지를 위해 서드파티 웹사이트에서 수집된 이력서의 중복 검출을 위한 새로운 프레임워크인 MHSNet을 제안한다. MHSNet은 BGE-M3을 contrastive learning으로 fine-tuning하고, Mixture-of-Experts (MoE)를 이용하여 이력서의 다층적(sparse and dense) 표현을 생성하여 의미적 유사도를 계산한다. 특히, 다양한 불완전한 이력서를 처리하기 위해 state-aware MoE를 사용하는 것이 특징이다. 실험 결과는 MHSNet의 효과를 검증한다.
시사점, 한계점
•
시사점:
◦
서드파티 이력서의 품질 향상 및 기업 인재풀 확장에 기여할 수 있다.
◦
불완전하고 이질적인 이력서 데이터에 대한 효과적인 중복 검출 방법을 제시한다.
◦
contrastive learning과 MoE를 결합하여 다층적 의미 표현을 생성하는 새로운 접근 방식을 제시한다.
•
한계점:
◦
제안된 MHSNet의 성능 평가는 특정 데이터셋에 국한될 수 있다. 다양한 데이터셋에 대한 추가적인 실험이 필요하다.
◦
실제 기업 환경에서의 적용 가능성 및 확장성에 대한 추가적인 연구가 필요하다.
◦
BGE-M3에 대한 의존성이 높아, 다른 기저 모델을 사용했을 때의 성능 변화에 대한 분석이 필요하다.
