En este artículo, presentamos Synergy, un modelo de lenguaje que conecta diferentes niveles de abstracción de extremo a extremo mediante un mecanismo de enrutamiento aprendido. Se entrena como un modelo de lenguaje a nivel de bytes, centrado en abstracciones lingüísticas de bajo nivel, y tokeniza bytes automáticamente para producir menos tokens de concepto que el tokenizador BBPE (Codificador de Pares de Bytes a Nivel de Bytes), manteniendo un rendimiento similar. Al compararlo con Llama3, demostramos la superioridad de Synergy con el mismo tamaño de modelo y conjunto de datos de entrenamiento. Estudios posteriores muestran que el rendimiento mejora al eliminar la codificación posicional de la parte central del modelo (parte de abstracción de alto nivel), lo que sugiere la aparición de conceptos independientes de la posición. Estos resultados demuestran la viabilidad de una arquitectura sin tokenizadores y abren el camino a pipelines más robustos y flexibles.
