본 논문은 소프트웨어 아키텍처 결정에 대한 설계 근거(DR)를 생성하고 복구하는 데 있어 대규모 언어 모델(LLM)의 성능을 평가한 연구이다. Stack Overflow, GitHub 이슈 및 토론에서 수집한 100개의 아키텍처 관련 문제에 대해, zero-shot, chain of thought (CoT), LLM 기반 에이전트 세 가지 프롬프팅 전략을 사용하여 5개의 LLM으로 DR을 생성하였다. 인간 전문가가 제공한 DR을 기준으로 LLM이 생성한 DR의 정밀도, 재현율, F1 점수를 측정하고, 추가적으로 실무자 인터뷰를 통해 LLM 생성 DR의 신뢰성과 적용 가능성을 분석하였다. 결과적으로 LLM이 DR 생성에 유용성을 보였으나, 정확도 측면에서는 개선의 여지가 있음을 확인하였다.
