En este artículo, proponemos una técnica novedosa para extraer incrustaciones de oraciones de modelos de lenguaje a gran escala (LLMs), la Preposición de Tokens (TP). Los métodos existentes inducen a los LLMs a codificar información de oraciones en las incrustaciones de los últimos tokens mediante ingeniería de indicaciones, pero esto conduce a una codificación sesgada y efectos en cascada debido a la atención causal, lo que impide que los tokens tempranos se refieran a tokens posteriores. TP antepone las incrustaciones de oraciones decodificadas de cada capa a las oraciones de entrada de la siguiente capa, de modo que los tokens tempranos puedan prestar atención a toda la información de la oración. Es una técnica plug-and-play, sin entrenamiento, que puede integrarse perfectamente con varios métodos de incrustación de oraciones basados en indicaciones y LLMs autorregresivos. A través de extensos experimentos en varias tareas de similitud de texto semántico (STS) y tareas de subclasificación, demostramos que TP mejora significativamente el rendimiento de los métodos existentes sin aumentar apenas el costo de inferencia.
