Gentiana Rashiti, Geethan Karunaratne, Mrinmaya Sachan, Abu Sebastian, Abbas Rahimi
개요
Retro와 같은 검색 증강 생성(RAG) 시스템은 수조 개의 항목을 포함하는 비모수 메모리 데이터베이스에서 검색하여 언어 모델링 기능을 향상시키고 독성 및 환각을 줄이는 것으로 나타났습니다. 본 논문에서는 소규모 데이터베이스를 사용하여 검색이 도움이 될 수 있음을 보여주는 Retro-li를 소개하지만, 더 작고 드문 비모수 메모리에서 검색할 때 더 정확하고 더 나은 이웃을 요구합니다. 이는 적절한 의미적 유사성 검색을 사용하여 충족될 수 있습니다. 또한 처음으로 비모수 메모리에 정규화를 추가하는 것을 제안합니다. 이는 추론 중 이웃 검색 작업이 노이즈가 있을 때 퍼플렉서티를 크게 줄이고 도메인 이동이 발생할 때 일반화를 향상시킵니다. 또한 Retro-li의 비모수 메모리는 아날로그 인메모리 컴퓨팅 하드웨어에 구현될 수 있으며, O(1) 검색 시간을 나타내는 동시에 이웃 검색 시 노이즈를 발생시키지만 성능 손실은 최소(<1%)입니다. 코드는 https://github.com/IBM/Retrieval-Enhanced-Transformer-Little 에서 확인할 수 있습니다.
