Este artículo enfatiza que en aplicaciones prácticas de modelos de lenguaje a gran escala (LLMs), el modelo apropiado debe seleccionarse considerando no solo el rendimiento sino también el costo operativo. En particular, la aparición de modelos con capacidades de inferencia ha aumentado aún más la brecha de costo entre los modos "pensamiento" (inferencia de alto costo) y "no pensamiento" (rápido y de bajo costo). Los resultados de nuestro estudio muestran que aproximadamente el 58% de las preguntas médicas pueden responderse con precisión solo con el modo "no pensamiento" sin el proceso de inferencia de alto costo. Esto demuestra la dicotomía de la complejidad del problema y sugiere que enrutar dinámicamente las consultas a los modos apropiados según la complejidad puede optimizar la precisión, la rentabilidad y la experiencia general del usuario. Con base en esto, proponemos SynapseRoute, un marco de enrutamiento dinámico basado en aprendizaje automático que asigna inteligentemente las consultas de entrada a los modos "pensamiento" o "no pensamiento". Los resultados experimentales en múltiples conjuntos de datos médicos muestran que SynapseRoute mejora la precisión general (0,8390 frente a 0,8272), a la vez que reduce el tiempo de inferencia en un 36,8 % y el consumo de tokens en un 39,66 %, en comparación con el uso exclusivo del modo de pensamiento. Además, demostramos mediante análisis cualitativo que una inferencia excesiva en consultas simples puede provocar retrasos innecesarios y una degradación de la precisión, y nuestro enrutamiento adaptativo evita estos problemas. Finalmente, presentamos el índice Precisión-Inferencia-Token (AIT) para evaluar exhaustivamente la relación entre precisión, retraso y coste de tokens.
