Este artículo presenta el modelo Chart-R1, que aplica un método de estilo R1 basado en el ajuste fino del aprendizaje por refuerzo a la inferencia compleja en el dominio de los gráficos. A diferencia de los métodos de estilo R1 existentes, que se centran en el razonamiento matemático y la inteligencia de código, Chart-R1 mejora las capacidades de inferencia para datos multimodales más generales, en particular los datos de gráficos. Para lograrlo, proponemos una novedosa técnica de síntesis programática de datos que genera datos de inferencia de gráficos paso a paso de alta calidad que contienen uno o varios subgráficos. También desarrollamos una estrategia de aprendizaje en dos pasos: Chart-COT, que utiliza un mapa de Cadena de Pensamiento (COT), y Chart-RFT, que utiliza el ajuste fino de la sensibilidad numérica. Chart-COT descompone las tareas de inferencia complejas en subtareas de granularidad fina, mientras que Chart-RFT enfatiza la sensibilidad numérica en el dominio de los gráficos mediante el uso de recompensas relativamente suaves para las respuestas numéricas. Los resultados experimentales muestran que Chart-R1 supera a los métodos de dominio de gráficos existentes y es comparable a modelos a gran escala como GPT-4o y Claude-3.5.
