본 논문은 양자 회로의 오류 허용 능력 향상을 위해 대규모 언어 모델(LLM)을 강화 학습(RL) 기법으로 미세 조정하는 연구를 다룹니다. Granite-20B-Code 및 StarCoder와 같은 기존 LLM들이 종종 오류가 있는 Qiskit 코드를 생성하는 문제를 해결하고자, 32B 모델을 Group Relative Policy Optimization (GRPO)와 Odds-Ratio Preference Optimization (ORPO) 두 가지 RL 방법을 사용하여 풍부하게 주석이 달린 합성 데이터셋으로 미세 조정했습니다. Qiskit HumanEval 벤치마크에서 ORPO는 56.29% Pass@1 (Granite-8B-QK 대비 약 10% 향상)을, GRPO는 49%를 달성하여 기존의 범용 기준 모델들을 모두 능가했습니다. 원래 HumanEval에서는 각각 65.90%와 63.00%의 점수를 기록했습니다. GRPO는 기본적인 과제에, ORPO는 중급 과제에 강점을 보였으나, 고급 과제는 해결하지 못하여 AI 기반 양자 프로그래밍의 발전 가능성과 한계를 동시에 보여줍니다.
