본 논문은 현재 텍스트 임베딩 모델들이 일관된 바이어스를 생성한다는 사실을 발견하고, 훈련 과정 없이 적용 가능한 경량 솔루션인 Renormalization을 제안합니다. Renormalization은 임베딩 벡터에서 공통 바이어스 성분 ($\mu$)을 제거하여 모델 성능을 향상시킵니다. Massive Multilingual Text Embedding Benchmark (MMTEB)에 대한 광범위한 실험을 통해 Renormalization이 기존 모델의 성능을 통계적으로 유의미하게 향상시킴을 입증했습니다. 두 가지 Renormalization 변형(직접 빼기 및 투영 빼기) 중 후자가 더 우수한 성능을 보입니다.
