# NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models

### 저자

Chankyu Lee, Rajarshi Roy, Mengyao Xu, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

### 개요

본 논문은 디코더 전용 LLM 기반 임베딩 모델 NV-Embed를 제안합니다.  기존 BERT 또는 T5 기반 모델보다 성능이 우수한 NV-Embed는 향상된 아키텍처, 훈련 절차, 그리고 정제된 데이터셋을 활용합니다.  특히, 잠재적 어텐션 레이어를 통해 풀링된 임베딩을 얻고, 대조 학습 중 인과적 어텐션 마스크를 제거하며, 2단계 대조 지시 튜닝 방법을 도입하여 성능을 향상시킵니다.  이를 통해 MTEB 리더보드 1위를 달성했으며, AIR Benchmark에서도 우수한 성능을 보였습니다.  또한, 일반적인 임베딩 모델에 대한 모델 압축 기술 분석도 제공합니다.

### 시사점, 한계점

- **시사점:**

    - 디코더 전용 LLM 기반 임베딩 모델의 우수성을 보여줌.

    - 잠재적 어텐션 레이어, 2단계 대조 지시 튜닝, 하드 네거티브 마이닝 등의 효과적인 기법 제시.

    - MTEB 및 AIR Benchmark에서 최고 성능 달성.

    - 모델 압축 기술 분석 제공.

- **한계점:**

    - 제시된 방법들의 일반화 성능에 대한 추가적인 연구 필요.

    - 특정 데이터셋에 대한 의존성 평가 필요.

    - 다양한 크기의 LLM에 대한 적용성 검증 필요.

[PDF 보기](https://arxiv.org/pdf/2405.17428)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).