Sign In

SwiftEmbed: Ultra-Fast Text Embeddings via Static Token Lookup for Real-Time Applications

Created by
  • Haebom
Category
Empty

저자

Edouard Lansiaux

개요

본 논문은 텍스트 임베딩 생성을 위한 정적 토큰 조회 방법을 제시한다. 이 방법은 단일 텍스트 임베딩에 대해 1.12ms의 p50 레이턴시를 달성하면서 8개의 대표적인 작업에서 60.6 MTEB 평균 점수를 유지하여 컨텍스트 모델 품질의 89%에 해당한다. Rust 구현은 정적 임베딩 조회, 최적화된 평균 풀링 및 제로 카피 IEEE754 바이너리 직렬화를 통해 초당 50,000개의 요청 처리량을 제공한다. 결과는 뛰어난 중복 감지 성능(90.1% AP), 강력한 의미적 유사성(76.1% 스피어만 상관 관계) 및 전문 분야에서 75%에서 131%의 기준선 범위를 갖는 도메인별 성능을 보여준다. 이 시스템은 5ms 미만의 레이턴시가 중요한 실시간 임베딩 애플리케이션을 가능하게 한다.

시사점, 한계점

시사점:
1.12ms p50 레이턴시로 빠른 속도의 텍스트 임베딩 생성 가능.
8개의 대표적인 작업에서 60.6 MTEB 평균 점수로 높은 정확도 유지.
중복 감지 및 의미적 유사성에서 뛰어난 성능.
전문 분야에서 기준선 대비 향상된 도메인별 성능.
실시간 임베딩 애플리케이션에 적합.
한계점:
논문에서 구체적인 한계점 언급 없음.
👍