[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Tận dụng LLM cho các câu chuyện người dùng trong hệ thống AI: Bộ dữ liệu UStAI

Created by
  • Haebom

Tác giả

Asma Yamani, Malak Baslyman, Moataz Ahmed

Phác thảo

Bài báo này chỉ ra sự thiếu hụt nghiên cứu về thu thập và phân tích yêu cầu của hệ thống AI, cũng như sự thiếu vắng các hiện vật yêu cầu hệ thống AI, đồng thời đề xuất một phương pháp để tạo ra các câu chuyện người dùng về hệ thống AI từ các bản tóm tắt bài báo học thuật bằng cách sử dụng các mô hình ngôn ngữ quy mô lớn (LLM). Sử dụng ba LLM, chúng tôi tạo ra 1.260 câu chuyện người dùng từ 42 bản tóm tắt trong 26 lĩnh vực, đánh giá chất lượng của chúng bằng khung QUS, đồng thời xác định các yêu cầu phi chức năng (NFR) và các nguyên tắc đạo đức có liên quan. Kết quả thực nghiệm cho thấy các LLM được nghiên cứu có thể tạo ra các câu chuyện người dùng phản ánh nhu cầu của nhiều bên liên quan, cho thấy chúng là những phương pháp hữu ích để hỗ trợ mục đích nghiên cứu và giai đoạn đầu của việc thu thập yêu cầu hệ thống AI. Ngoài ra, chúng tôi cung cấp công khai một tập dữ liệu (UStAI) chứa các câu chuyện được tạo ra.

Takeaways, Limitations

Takeaways:
Đề Xuất khả năng tạo ra các câu chuyện người dùng hiệu quả cho các hệ thống AI bằng cách tận dụng LLM.
Góp phần tăng hiệu quả trong giai đoạn đầu của quá trình suy ra yêu cầu của hệ thống AI.
Hỗ trợ nghiên cứu và phát triển tiếp theo bằng cách cung cấp các tập dữ liệu mở (UStAI).
Cung cấp thông tin chi tiết về phân tích yêu cầu hệ thống AI trên nhiều lĩnh vực khác nhau.
Limitations:
Những hạn chế của khuôn khổ QUS được sử dụng để đánh giá.
Cần phải xác nhận thêm về chất lượng các câu chuyện người dùng do LLM tạo ra.
Thiếu phân tích chi tiết về đặc điểm và hạn chế của các chương trình LLM được sử dụng.
Cần nghiên cứu thêm về khả năng ứng dụng trong môi trường phát triển hệ thống AI thực tế.
Các vấn đề về độ tin cậy và sai lệch của các phương pháp luận phụ thuộc vào LLM.
👍