본 논문은 대규모 언어 모델(LLM)을 이용한 레지스터 전달 레벨(RTL) 코드 자동 생성을 위한 새로운 프레임워크인 VeriReason을 제안합니다. VeriReason은 지도 학습 파인튜닝과 Guided Reward Proximal Optimization (GRPO) 강화 학습을 통합하여, 정제된 훈련 예시와 피드백 기반 보상 모델을 사용합니다. 테스트벤치 평가와 구조적 휴리스틱을 결합하고 자체 검사 기능을 통해 자율적인 오류 수정을 수행합니다. VerilogEval 벤치마크에서 VeriReason은 기존 방법 대비 최대 2.8배 향상된 기능적 정확성(첫 시도 성공률)을 보이며, GPT-4 Turbo와 같은 대형 상용 시스템을 능가하는 83.1%의 기능적 정확성을 달성했습니다. 본 논문은 명시적인 추론 능력과 강화 학습을 Verilog 생성에 성공적으로 통합한 최초의 시스템으로, 자동화된 RTL 합성 분야의 새로운 최첨단 기술을 제시합니다. 모델과 데이터셋은 Hugging Face, 코드는 Github에서 공개됩니다.
