SR-KI는 실시간 및 대규모 구조적 지식 베이스(KB)를 대규모 언어 모델(LLM)에 통합하는 새로운 접근 방식을 제안합니다. 사전 훈련된 인코더를 사용하여 KB를 키-값 쌍으로 인코딩하고, LLM의 KV 캐시에 주입합니다. SR-KI는 LLM 내에 전용 검색 레이어를 배치하고, 해당 레이어에서 어텐션 기반 손실을 적용하여 관련 KB 항목에 대한 어텐션을 명시적으로 감독하는 2단계 훈련 패러다임을 사용합니다. 외부 검색기의 성능과 다단계 파이프라인에 의존하는 기존의 검색 증강 생성 방식과 달리, SR-KI는 모델의 잠재 공간 내에서 완전히 검색을 수행하여 엔드투엔드 추론을 지원합니다. 이 설계를 통해 주입된 지식의 효율적인 압축과 동적 지식 업데이트가 가능합니다. SR-KI는 단일 A100 40GB GPU에서 7B LLM에 최대 40,000개의 KB를 통합할 수 있으며, 강력한 검색 성능을 달성하여 최고 성능의 작업에서 Recall@10 98% 이상, 모든 작업에서 평균 88% 이상을 유지합니다. 질문 응답 및 KB ID 생성에 대한 작업 성능은 SR-KI가 강력한 성능을 유지하면서 주입된 KB의 최대 99.75% 압축을 달성함을 보여줍니다.
