haebom
Sign In

ScaleRTL: Scaling LLMs with Reasoning Data and Test-Time Compute for Accurate RTL Code Generation

Author
  • Haebom
Category
Empty

저자

Chenhui Deng, Yun-Da Tsai, Guan-Ting Liu, Zhongzhi Yu, Haoxing Ren

개요

본 논문은 대규모 언어 모델(LLM)을 활용한 RTL 코드 생성의 효율성을 높이기 위한 연구 결과를 제시합니다. 기존 연구의 한계점인 고품질 훈련 데이터 부족 및 테스트 시 확장성 부족 문제를 해결하기 위해, ScaleRTL이라는 새로운 추론 기반 LLM을 제안합니다. ScaleRTL은 평균 56K 토큰의 장황한 사고 과정 추론 기록으로 구성된 3.5B 토큰 규모의 고품질 데이터셋을 활용하여 훈련되었습니다. 또한, 이전 추론 단계를 반복적으로 검토하고 자가 수정하는 새로운 테스트 시 확장 전략을 통해 성능을 더욱 향상시켰습니다. 실험 결과, ScaleRTL은 VerilogEval 및 RTLLM 벤치마크에서 기존 최고 성능을 능가하며, VerilogEval에서는 최대 18.4%, RTLLM에서는 최대 12.7%의 성능 향상을 보였습니다.

시사점, 한계점

•
시사점:
◦
고품질 데이터셋과 추론 기반 접근 방식을 통해 RTL 코드 생성 성능을 크게 향상시킬 수 있음을 보여줌.
◦
테스트 시 확장 전략을 통해 LLM의 성능을 더욱 개선할 수 있는 가능성을 제시함.
◦
VerilogEval 및 RTLLM과 같은 벤치마크에서 state-of-the-art 성능 달성.
•
한계점:
◦
제시된 데이터셋의 일반화 가능성 및 다른 RTL 언어/아키텍처에 대한 적용 가능성에 대한 추가 연구 필요.
◦
테스트 시 확장 전략의 계산 비용 및 효율성에 대한 추가적인 분석 필요.
◦
ScaleRTL의 추론 과정의 투명성 및 해석 가능성에 대한 추가적인 연구 필요.
PDF 보기
👍
Made with Slashpage