Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PromptDSI: Prompt-based Rehearsal-free Instance-wise Incremental Learning for Document Retrieval

Created by
  • Haebom

저자

Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Yinwei Wei, Trung Le, Dragan Gasevic, Yuan-Fang Li, Thanh-Toan Do

개요

본 논문은 Differentiable Search Index (DSI)의 계산 비효율성 문제를 해결하기 위해, 기존 문서나 질의에 접근하지 않고도 새로운 문서를 효율적으로 색인하는 prompt 기반의 rehearsal-free continual learning 접근 방식인 PromptDSI를 제안합니다. PromptDSI는 Prompt-based Continual Learning (PCL) 프레임워크를 따르며, 학습 가능한 프롬프트를 사용하여 새로운 문서를 색인합니다. 기존 PCL의 초기 순전파 과정을 제거하여 추론 속도를 개선하였으며, 신경망 토픽 임베딩을 고정 키로 사용하는 topic-aware prompt pool을 도입하여 프롬프트 키 최적화의 불안정성을 해결했습니다. 실험 결과, PromptDSI는 rehearsal 기반 baseline을 능가하고, cache 기반 baseline과 유사한 수준의 forgetting 완화 성능을 보이며, 새로운 코퍼스에 대한 검색 성능을 크게 향상시켰습니다.

시사점, 한계점

시사점:
DSI의 계산 비효율성 문제를 rehearsal-free continual learning을 통해 효과적으로 해결.
prompt 기반 접근 방식으로 기존 문서 접근 없이 새로운 문서 색인 가능.
초기 순전파 과정 제거를 통해 추론 속도 향상.
topic-aware prompt pool을 통해 프롬프트 키 최적화의 안정성 확보 및 성능 향상.
rehearsal-free continual learning 환경에서 우수한 성능을 검증.
한계점:
제안된 방법의 성능은 특정 데이터셋과 설정에 의존적일 수 있음.
다양한 종류의 문서 및 질의에 대한 일반화 성능에 대한 추가적인 연구가 필요.
실제 대규모 검색 시스템에 적용 시 발생할 수 있는 scalability 문제에 대한 고려 필요.
👍