Cet article évalue la capacité des modèles de langage à grande échelle (LLM) récemment développés à générer des langages de description de matériel (HDL), notamment du code SystemVerilog. Contrairement aux langages de programmation classiques, les HDL sont soumis à des contraintes strictes en termes de sémantique temporelle, de concurrence et de synthétisabilité, ce qui complique la génération de code. Dans cet article, nous présentons un nouveau benchmark, ProtocolLLM, visant à évaluer la capacité de génération de code SystemVerilog des LLM open source et de pointe pour divers protocoles de communication, composants essentiels des systèmes embarqués et SoC. L'évaluation se concentre sur la correction temporelle, la synthétisabilité et la correction syntaxique. Par conséquent, nous démontrons que la plupart des modèles ne parviennent pas à générer du code SystemVerilog pour les protocoles de communication respectant les contraintes temporelles.
