Deployability-Centric Infrastructure-as-Code Generation: An LLM-based Iterative Framework
Author
- Haebom
Category
Empty
저자
Tianyi Zhang, Shidong Pan, Zejun Zhang, Zhenchang Xing, Xiaoyu Sun
개요
본 논문은 Large Language Model(LLM)을 이용한 Infrastructure-as-Code(IaC) 생성의 실용성을 평가하기 위해 deployability-centric framework인 IaCGen과 IaC template benchmark인 DPIaC-Eval을 제시합니다. 기존 연구들이 IaC template의 문법적 정확성에만 초점을 맞춘 것과 달리, 본 연구는 실제 배포 가능성(deployability)에 중점을 두고 평가합니다. 실험 결과, 최신 LLM들(Claude-3.5, Claude-3.7 등)은 초기에는 낮은 배포 성공률을 보였으나, IaCGen을 통해 배포 성공률이 90% 이상으로 크게 향상되었습니다. 하지만 사용자 의도 충족 및 보안 준수 측면에서는 여전히 개선이 필요함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 IaC 생성의 deployability 평가를 위한 새로운 프레임워크(IaCGen)와 벤치마크(DPIaC-Eval) 제시
◦
IaCGen을 통해 LLM의 IaC 생성 성능을 획기적으로 향상시킬 수 있음을 증명
◦
IaC 생성 분야에서 deployability의 중요성을 강조하고, 향후 연구 방향 제시
•
한계점:
◦
사용자 의도 정확도(25.2%) 및 보안 준수율(8.4%)이 여전히 낮음
◦
현재 벤치마크는 153개의 실제 시나리오로 구성되어 있지만, 더욱 다양하고 광범위한 시나리오가 필요할 수 있음
◦
IaCGen의 효율성과 확장성에 대한 추가적인 연구가 필요함
