LLM-FSM: Scaling Large Language Models for Finite-State Reasoning in RTL Code Generation

Created by

Haebom

저자

Yuheng Wu, Berk Gokmen, Zhouhua Xie, Peijing Li, Caroline Trippel, Priyanka Raina, Thierry Tambe

💡 개요

본 논문은 하드웨어 설계를 위한 핵심 능력인 유한 상태 기계(FSM) 추론을 대규모 언어 모델(LLM)이 얼마나 잘 수행하는지 평가하는 LLM-FSM 벤치마크를 제안합니다. LLM-FSM은 자연어 명세로부터 FSM 동작을 복구하고 이를 올바른 RTL 구현으로 변환하는 LLM의 능력을 측정하며, 기존 벤치마크와 달리 자동화된 파이프라인을 통해 구축됩니다. 실험 결과, LLM은 FSM 복잡성이 증가함에 따라 정확도가 크게 감소하는 경향을 보였지만, 지도 학습 파인튜닝(SFT)을 통한 훈련 시간 스케일링은 분포 외(OOD) 작업에 효과적으로 일반화됨을 보여줍니다.

🔑 시사점 및 한계

•

LLM이 자연어 명세로부터 복잡한 하드웨어 동작(FSM)을 이해하고 RTL 코드로 생성하는 데 있어, FSM 복잡성 증가에 따라 성능이 저하된다는 점을 명확히 보여줍니다.

•

지도 학습 파인튜닝(SFT)이 LLM의 분포 외(OOD) 작업에 대한 일반화 성능을 향상시키는 효과적인 방법임을 입증했습니다.

•

LLM-FSM 벤치마크는 향후 LLM의 FSM 복잡성 처리 능력이 발전함에 따라 지속적으로 확장될 수 있어, LLM의 하드웨어 설계 분야 적용 가능성을 탐구하는 데 유용한 도구로 활용될 수 있습니다.

•

현재 LLM은 고도로 복잡하거나 특정한 구조의 FSM에 대해서는 여전히 제한적인 성능을 보이며, 추론 신뢰성을 더욱 높이기 위한 추가적인 연구 및 모델 개선이 필요합니다.

PDF 보기

Made with Slashpage