Este artículo estudia el ajuste fino de modelos de lenguaje a gran escala (LLM) mediante técnicas de aprendizaje por refuerzo (RL) para mejorar la tolerancia a errores de los circuitos cuánticos. Para abordar el problema de que los LLM existentes, como Granite-20B-Code y StarCoder, suelen generar códigos Qiskit erróneos, ajustamos el modelo 32B en un conjunto de datos sintéticos con anotaciones enriquecidas mediante dos métodos de RL: Optimización de Políticas Relativa de Grupo (GRPO) y Optimización de Preferencias por Odds-Ratio (ORPO). En el benchmark Qiskit HumanEval, ORPO alcanza un 56,29% de aprobación a 1 (una mejora de aproximadamente el 10% respecto a Granite-8B-QK), mientras que GRPO alcanza un 49%, superando a todos los modelos de referencia de propósito general existentes. En el HumanEval original, obtuvieron una puntuación del 65,90% y el 63,00%, respectivamente. GRPO es fuerte en tareas básicas, mientras que ORPO es fuerte en tareas intermedias, pero no logra resolver tareas avanzadas, lo que demuestra tanto el potencial como las limitaciones de la programación cuántica basada en IA.
