Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
ETF: Một khuôn khổ theo dõi thực thể để phát hiện ảo giác trong bản tóm tắt mã
Created by
Haebom
Tác giả
Kishan Maharaj, Vitobha Munigala, Srikanth G. Tamilselvam, Hoàng tử Kumar, Sayandeep Sen, Palani Kodeswaran, Abhijit Mishra, Pushpak Bhattacharyya
Phác thảo
Bài báo này đề xuất một tập dữ liệu mới, CodeSumEval (khoảng 10.000 mẫu), và một Khung Theo dõi Thực thể (ETF) để giải quyết vấn đề ảo giác phát sinh trong quá trình tóm tắt mã bằng các mô hình ngôn ngữ quy mô lớn (LLM). CodeSumEval là một tập dữ liệu chuyên dụng để phát hiện ảo giác trong các bản tóm tắt mã, trong khi ETF xác định các thực thể mã thông qua phân tích chương trình tĩnh, ánh xạ và xác minh các thực thể này theo ý định của chúng trong các bản tóm tắt mã được tạo ra bằng LLM. Kết quả thực nghiệm cho thấy ETF đạt điểm F1 là 73%, chứng minh tính hiệu quả của nó trong việc đánh giá độ chính xác của các bản tóm tắt mã và xác định vị trí các lỗi trong các bản tóm tắt.
Takeaways, Limitations
•
Takeaways:
◦
Trong Tóm tắt mã, chúng tôi trình bày một tập dữ liệu và khuôn khổ mới để giải quyết vấn đề ảo giác.
◦
Một phương pháp mới kết hợp phân tích chương trình tĩnh và LLM được đề xuất.
◦
Hiệu quả của ETF đã được chứng minh bằng thực nghiệm thông qua điểm F1 cao (73%).
◦
Khả năng đánh giá độ chính xác của bản tóm tắt mã và xác định lỗi.
•
Limitations:
◦
Kích thước của tập dữ liệu CodeSumEval (10K mẫu) có thể tương đối nhỏ.
◦
Hiệu suất của ETF có thể phụ thuộc vào ngôn ngữ lập trình, phong cách mã hoặc LLM cụ thể.
◦
Có thể có những hạn chế trong việc phát hiện tất cả các loại ảo giác.
◦
Cần phải xác nhận thêm hiệu suất tổng quát hóa trong môi trường thực tế.
