Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Liệu LLM có thể thay thế con người trong quá trình phân đoạn mã không?

Created by
  • Haebom

Tác giả

Christopher Glasz, Emily Escamilla, Eric O. Scott, Anand Patel, Jacob Zimmer, Colin Diggs, Michael Doyle, Scott Rosen, Nitin Naik, Justin F. Brunelle, Samruddhi Thaker, Parthav Poudel, Arun Sridharan, Amit Madan, Doug Wendt, William Macke, Thomas Schill

Phác thảo

Bài báo này đề cập đến việc áp dụng các mô hình ngôn ngữ lớn (LLM) vào quá trình hiện đại hóa mã cũ (MUMPS, assembler) cho các ứng dụng của chính phủ. Để khắc phục hạn chế về kích thước cửa sổ ngữ cảnh của các LLM hiện có, chúng tôi nghiên cứu nhiều kỹ thuật phân đoạn mã khác nhau và đánh giá việc tạo chú thích mô-đun tóm tắt của các tệp mã cũ bằng một số LLM, bao gồm GPT-4o, Claude 3 Sonnet, Mixtral và Llama 3. Kết quả thử nghiệm cho thấy LLM chọn các điểm phân đoạn rất giống với các điểm phân đoạn của chuyên gia và kỹ thuật phân đoạn có tác động đáng kể đến các tác vụ tiếp theo như tạo tài liệu. Các chú thích được tạo bằng phân đoạn do LLM tạo ra được phát hiện là thực tế hơn tới 20% và nhiều thông tin hơn tới 10% so với các chú thích do con người tạo ra. Tóm lại, chúng tôi cho rằng LLM là một công cụ phù hợp để thay thế phân đoạn của con người đối với các cơ sở mã lớn trong quá trình hiện đại hóa được LLM hỗ trợ.

Takeaways, Limitations

•
Takeaways:
◦
Tận dụng LLM để chứng minh tiềm năng tự động phân đoạn mã và tạo tài liệu trong quá trình hiện đại hóa mã cũ.
◦
Chúng tôi chứng minh rằng phân đoạn mã dựa trên LLM có thể cung cấp kết quả hiệu quả và chính xác hơn so với phân đoạn mã do con người thực hiện.
◦
Bằng chứng cho thấy LLM có hiệu quả trong việc hiểu và xử lý các ngôn ngữ cũ (MUMPS, assembler).
•
Limitations:
◦
Kết quả chỉ giới hạn ở các LLM và ngôn ngữ cũ cụ thể (MUMPS, assembler). Khả năng khái quát hóa sang các LLM hoặc ngôn ngữ cũ khác cần được nghiên cứu thêm.
◦
Cần nghiên cứu thêm để tối ưu hóa phương pháp phân đoạn mã và cải thiện hiệu suất LLM.
◦
Nó có thể không phản ánh đầy đủ sự phức tạp và đa dạng của các ứng dụng chính phủ trong thế giới thực.
◦
Cần xem xét đến tính chủ quan và hạn chế của các chỉ số đánh giá (tính hiện thực, tính khả dụng).
👍
Made with Slashpage