본 논문은 대규모 언어 모델(LLM)이 비기능적 요구사항(NFR)을 처리할 때 개발자의 행동 변화(동일한 NFR을 다른 단어로 표현하는 등)에 따른 LLM의 강건성을 평가하는 RobuNFR 프레임워크를 제안합니다. RobuNFR은 디자인, 가독성, 신뢰성, 성능의 네 가지 NFR 차원에 걸쳐 프롬프트 변형, 회귀 테스트, 다양한 워크플로우의 세 가지 방법론을 사용합니다. 실험 결과, RobuNFR은 코드 생성에서 NFR을 고려할 때 테스트된 LLM에서 강건성 문제를 드러냅니다. 특히, 프롬프트 변형 시 NFR을 포함하면 Pass@1이 최대 39% 감소하고 표준 편차가 0.48에서 2.48로 증가하는 반면, 전반적인 NFR 지표는 개선되지만 프롬프트 민감도가 높아집니다. 회귀 설정에서는 일부 LLM이 버전 간 차이를 보이며, 한 측면(예: 코드 냄새 감소)의 개선이 다른 측면(예: 정확성 감소)의 회귀를 수반하는 불일치를 보입니다. 워크플로우를 변경할 때, 테스트된 LLM은 두 가지 워크플로우(1) 초기 프롬프트에 NFR과 기능적 요구사항 통합, (2) Function-Only 생성 코드에 동일한 NFR 추가) 간에 상당히 다른 NFR 인식 코드 생성 기능을 보여줍니다.
