Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Tạo bài kiểm tra LLM thông qua phân tích chương trình lai lặp lại

Created by
  • Haebom

Tác giả

Sijia Gu, Noor Nashid, Ali Mesbah

Phác thảo

Bài báo này trình bày kỹ thuật Panta để giải quyết những thách thức của việc tự động hóa việc tạo thử nghiệm đơn vị cho các phương pháp phức tạp trong các dự án thực tế. Panta khắc phục khả năng suy luận cấu trúc luồng điều khiển hạn chế của LLM bằng cách mô phỏng quy trình lặp lại của các nhà phát triển phân tích mã và xây dựng các trường hợp thử nghiệm. Bằng cách tích hợp phân tích luồng điều khiển tĩnh và phân tích độ bao phủ mã động, LLM hướng dẫn một cách có hệ thống việc tạo ra các trường hợp thử nghiệm tốt hơn bằng cách xác định các đường dẫn thực thi chưa được khám phá. Một cơ chế dựa trên phản hồi lặp lại liên tục cải thiện việc tạo thử nghiệm dựa trên thông tin chi tiết từ độ bao phủ đường dẫn tĩnh và động, đảm bảo thử nghiệm toàn diện và hiệu quả hơn. Các đánh giá thực nghiệm trên các lớp có độ phức tạp cyclomatic cao từ các dự án nguồn mở cho thấy Panta đạt được độ bao phủ dòng tốt hơn 26% và độ bao phủ nhánh tốt hơn 23% so với các kỹ thuật tiên tiến.

Takeaways, Limitations

Takeaways:
Chúng tôi giới thiệu Panta, một kỹ thuật mới giúp cải thiện hiệu quả tạo thử nghiệm đơn vị tự động bằng LLM.
Giải quyết vấn đề về độ phủ nhánh thấp của phương pháp tạo bài kiểm tra dựa trên LLM truyền thống (Limitations) bằng cách tích hợp phân tích tĩnh và động.
Xác thực tính ưu việt của Panta thông qua kết quả thử nghiệm nhắm vào các dự án nguồn mở thực tế.
Cải thiện độ chính xác và phạm vi bao phủ của quá trình tạo thử nghiệm thông qua cơ chế phản hồi lặp lại.
Limitations:
Hiệu suất của Panta chỉ giới hạn ở kết quả đánh giá cho một nhóm dự án nguồn mở cụ thể. Cần nghiên cứu thêm để xác định khả năng áp dụng rộng rãi hơn cho nhiều dự án và phong cách mã nguồn.
Tập trung vào các lớp có độ phức tạp cyclomatic cao, hiệu quả của nó đối với các lớp có độ phức tạp thấp vẫn chưa rõ ràng.
ĐIều này có thể phụ thuộc vào hiệu suất của LLM và hiệu suất này có thể thay đổi khi LLM phát triển.
Cần có thêm nghiên cứu về khả năng ứng dụng và mở rộng trong môi trường công nghiệp thực tế.
👍