Customizing a Large Language Model for VHDL Design of High-Performance Microprocessors
Created by
Haebom
저자
Nicolas Dupuis, Ravi Nair, Shyam Ramji, Sean McClintock, Nishant Chauhan, Priyanka Nagpal, Bart Blaner, Ken Valk, Leon Stok, Ruchir Puri
개요
본 논문은 고성능 프로세서 설계 분야에서 VHDL 코드 설명을 위한 대규모 언어 모델(LLM) 개발 과정을 설명합니다. Verilog에 비해 상대적으로 적은 주목을 받고 있는 VHDL에 초점을 맞춰, 특히 오랜 경험과 자산을 보유한 조직의 요구사항에 맞춘 테스트 세트를 개발하고, 기본 LLM의 확장된 사전 훈련(EPT)을 통해 모델 성능을 향상시켰습니다. 전문가 평가 결과, EPT 모델의 코드 설명 정확도는 기본 모델의 43%에서 69%로 증가했습니다. 또한, 전문가 평가자와 유사하게 모델을 평가하는 LLM-as-a-judge를 개발하여 다양한 모델을 평가하고, 지시어 튜닝된 EPT 모델의 예상 전문가 평가 점수를 71%까지 높였습니다. 향후 더욱 발전된 기본 모델을 사용하면 85% 이상의 정확도를 달성할 수 있을 것으로 예상하며, 생성형 AI의 발전을 활용하여 하드웨어 설계 LLM의 질을 더욱 향상시키는 방안을 논의합니다.