本論文は最近発展した大規模言語モデル(LLM)のハードウェア記述言語(HDL),特にSystemVerilogコード生成能力を評価した研究である。一般的なプログラミング言語とは異なり、HDLは厳密なタイミングセマンティクス、並行性、および合成可能な制約を持っているため、コード生成が困難です。この研究は、組み込みシステムとSoCシステムの重要なコンポーネントであるさまざまな通信プロトコルを対象に、オープンソースおよび最先端LLMのSystemVerilogコード生成能力を評価するためにProtocolLLMという新しいベンチマークを提示します。評価は、合成の可能性、構文の正確さだけでなく、タイミングの正確さにも焦点を当てた。その結果、ほとんどのモデルがタイミング制約に準拠した通信プロトコルのSystemVerilogコード生成に失敗することがわかりました。