MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora
Created by
Haebom
저자
Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Trung Le, Dragan Ga\v{s}evic, Yuan-Fang Li, Thanh-Toan Do
개요
MixLoRA-DSI는 생성적 검색에서 모델 기반 색인을 지속적으로 업데이트하는 문제를 해결하기 위한 새로운 프레임워크입니다. 전체 재학습의 높은 계산 비용 문제를 해결하기 위해, 확장 가능한 저계층 적응 전문가들의 혼합 모델과 계층별 이상치(OOD) 기반 확장 전략을 결합했습니다. 새로운 말뭉치가 추가될 때마다 새로운 전문가를 할당하는 대신, OOD 문서가 상당수 감지될 때만 선택적으로 새로운 전문가를 도입하여 하위 선형적 매개변수 증가를 가능하게 합니다. NQ320k 및 MS MARCO Passage에 대한 실험 결과, MixLoRA-DSI는 전체 모델 업데이트 기준 모델보다 성능이 우수하며, 매개변수 오버헤드가 최소화되고 훈련 비용이 크게 감소함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
생성적 검색에서 모델 기반 색인의 효율적인 지속적 업데이트 가능성 제시
◦
하위 선형적 매개변수 증가를 통한 계산 비용 및 자원 효율성 향상
◦
OOD 기반 확장 전략을 통한 효과적인 모델 확장성 확보
◦
기존 전체 모델 업데이트 방식보다 우수한 성능 달성
•
한계점:
◦
제안된 OOD 검출 전략의 성능에 대한 의존도 높음. OOD 검출이 부정확할 경우 성능 저하 가능성 존재.
◦
특정 데이터셋(NQ320k, MS MARCO Passage)에 대한 실험 결과만 제시되어 일반화 가능성에 대한 추가 검증 필요.
