この論文では、デコーダ専用の大規模言語モデル（LLM）を使用した埋め込みモデルのパフォーマンスを向上させるための新しい方法であるCausal2Vecを提案します。既存の方法が双方向アテンションのために因果関係アテンションマスクを削除したり、追加の入力テキストを使用して計算コストを増加させるという問題を解決するために、Causal2Vecは軽量BERTスタイルモデルを使用して入力テキストを1つのContextualトークンにプリエンコードし、それをLLM入力シーケンスに追加します。さらに、最終的なテキスト埋め込みを使用して、ContextualトークンとEOSトークンの最後の隠し状態をリンクして、最新のトークンバイアスを軽減し、LLMにContextualトークンに含まれる意味情報をよりよく活用します。実験の結果、Causal2Vecは、公的に利用可能な検索データセットでのみ学習されたモデルのうち、MTEB（Massive Text Embeddings Benchmark）で最先端の性能を達成し、従来の最高性能モデルと比較してシーケンス長を最大85％、推論時間を最大82％に短縮しました。
