Este artículo cuestiona si la función objetivo autorregresiva convencional (que calcula la pérdida solo para los tokens de respuesta) es óptima en el ajuste de instrucciones y propone un método novedoso, el Ajuste de Instrucciones Ponderado (WIT), que pondera los tokens de aviso y los tokens de respuesta de manera diferente. A través de experimentos extensos con cinco modelos de lenguaje de varios tamaños, tres conjuntos de datos de ajuste fino de diferentes tamaños y cinco puntos de referencia de evaluación diferentes, demostramos que la función de pérdida de ajuste de instrucciones convencional no proporciona un rendimiento óptimo ni robustez a los cambios de aviso de entrada. Descubrimos que asignar pesos bajos a los tokens de aviso y pesos medios a altos a los tokens de respuesta logra el mejor rendimiento en una variedad de entornos y proporciona un mejor punto de partida para el posterior entrenamiento de alineación de preferencias. Este estudio destaca la necesidad de replantear la función de pérdida de ajuste de instrucciones y proporciona información práctica para desarrollar modelos más robustos y generalizables. El código está disponible públicamente.
