Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Leveraging LLMs for User Stories in AI Systems: UStAI Dataset

Created by
  • Haebom

저자

Asma Yamani, Malak Baslyman, Moataz Ahmed

개요

본 논문은 AI 시스템의 요구사항 도출 및 분석에 대한 연구 부족을 지적하며, 특히 AI 시스템의 독점적인 특성으로 인해 공개된 요구사항 문서가 부족한 현실을 언급합니다. 이에 따라 대규모 언어 모델(LLM)을 활용하여 학술 논문 초록을 바탕으로 AI 시스템의 사용자 스토리를 생성하는 방법을 제시합니다. 세 가지 LLM을 이용하여 26개 분야의 42개 논문 초록으로부터 1260개의 사용자 스토리를 생성하고, QUS(Quality User Story) 프레임워크를 사용하여 품질을 평가했습니다. 또한 관련 비기능적 요구사항(NFR)과 윤리적 원칙을 파악했습니다. 실험 결과, 조사된 LLM들이 다양한 이해관계자의 요구를 반영한 사용자 스토리를 생성할 수 있음을 보여주며, 연구 목적 및 AI 시스템의 초기 요구사항 도출 단계에서 유용하게 활용될 수 있음을 시사합니다. 마지막으로, 생성된 사용자 스토리를 포함하는 데이터셋(UStAI)을 공개했습니다.

시사점, 한계점

시사점:
LLM을 활용하여 AI 시스템의 사용자 스토리를 효과적으로 생성할 수 있는 가능성을 제시.
AI 시스템 요구사항 도출 과정의 효율성 증대 및 초기 단계 지원 가능.
다양한 이해관계자의 요구사항을 반영한 사용자 스토리 생성 가능.
공개 데이터셋(UStAI) 제공을 통한 추가 연구 및 활용 촉진.
한계점:
사용된 LLM의 종류와 학습 데이터에 따라 결과의 질적 차이 발생 가능성.
QUS 프레임워크 기반 평가의 한계로 인한 객관성 저하 가능성.
생성된 사용자 스토리의 완전성 및 정확성에 대한 추가 검증 필요.
실제 AI 시스템 개발에 적용 가능성에 대한 추가 연구 필요.
👍