[공지사항]을 빙자한 안부와 근황 
Show more

Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Hướng tới việc xác minh chính thức mã do LLM tạo ra từ các dấu nhắc ngôn ngữ tự nhiên

Created by
  • Haebom

Tác giả

Aaron Ủy viên Hội đồng, David Fu, Aryan Gupta, Chengxiao Wang, David Grove, Yu-Xiong Wang, Vikram Adve

Phác thảo

Trong bài báo này, chúng tôi đề xuất Astrogator, một hệ thống sử dụng ngôn ngữ truy vấn chính thức để làm rõ ý định của người dùng và xác minh tính chính xác của mã được tạo ra, nhằm giải quyết vấn đề lỗi của các mô hình ngôn ngữ quy mô lớn (LLM) tạo mã dựa trên mô tả ngôn ngữ tự nhiên. Astrogator nhắm đến ngôn ngữ lập trình Ansible và bao gồm một ngôn ngữ truy vấn chính thức, một phương pháp tính toán biểu diễn hành vi của chương trình Ansible, và một trình thông dịch ký hiệu dùng để xác minh. Trong bài kiểm tra chuẩn mực gồm 21 tác vụ tạo mã, mã đúng được xác minh trong 83% trường hợp và mã sai được xác định trong 92% trường hợp.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một phương pháp mới để cải thiện độ chính xác của việc tạo mã dựa trên LLM.
Xác minh chính thức cho phép bạn kiểm tra xem ý định của người dùng có khớp với mã đã tạo hay không.
Khả năng cho phép lập trình ngôn ngữ tự nhiên ngay cả với người dùng có kiến thức lập trình hạn chế.
Nâng cao hiệu quả tạo mã và xác minh cho các ngôn ngữ cụ thể như Ansible.
Limitations:
Astrogator dành riêng cho ngôn ngữ Ansible và có thể có khả năng mở rộng hạn chế sang các ngôn ngữ lập trình khác.
Kích thước chuẩn mực tương đối nhỏ, đòi hỏi phải nghiên cứu thêm về tính khái quát.
Cần cân nhắc đến tính dễ sử dụng và chi phí học tập của ngôn ngữ truy vấn chính thức.
Nó có thể không phát hiện hoàn hảo mọi loại lỗi mã (độ chính xác 83%, độ chính xác 92% không có nghĩa là độ chính xác hoàn hảo).
👍