Quantum Verifiable Rewards for Post-Training Qiskit Code Assistant
Created by
Haebom
저자
Nicolas Dupuis, Adarsh Tiwari, Youssef Mroueh, David Kremer, Ismael Faro, Juan Cruz-Benito
개요
본 논문은 Qiskit을 이용한 양자 회로 설계, 시뮬레이션 및 실행을 돕기 위해 대규모 언어 모델(LLM)의 학습 후 기술을 탐구한다. 양자 코드의 품질과 양자 하드웨어에서의 실행 가능성을 보장하기 위한 효과적인 방법으로 양자 검증을 제시한다. 양자 문제-단위 테스트 쌍을 생성하는 합성 데이터 파이프라인을 개발하여 DPO(Direct Preference Optimization)를 위한 선호도 데이터를 생성하고, 양자 하드웨어가 제공하는 양자 검증 가능한 보상을 활용하여 GRPO(Guided Reward Preference Optimization)를 사용하여 모델을 학습시켰다. DPO와 GRPO를 결합한 최고 성능 모델은 Qiskit-HumanEval-hard 벤치마크에서 가장 강력한 오픈소스 기준 모델을 능가한다.
시사점, 한계점
•
시사점:
◦
LLM을 이용한 양자 프로그래밍 지원 가능성을 보여줌.
◦
양자 검증을 통한 코드 품질 향상 및 실행 가능성 보장.
◦
DPO와 GRPO 결합을 통한 성능 향상.
◦
Qiskit-HumanEval-hard 벤치마크에서 우수한 성능 달성.
•
한계점:
◦
합성 데이터 파이프라인에 의존하는 데이터 생성 방식의 한계.
◦
실제 양자 하드웨어의 제약 및 접근성 문제.
◦
특정 양자 프로그래밍 프레임워크(Qiskit)에 대한 의존성.
◦
Qiskit-HumanEval-hard 벤치마크를 넘어서는 일반화 성능에 대한 검증 부족.
