Bài báo này đánh giá khả năng tạo mã máy tính lượng tử của các mô hình ngôn ngữ quy mô lớn (LLM). Dựa trên các vấn đề thực tế từ Quantum Hackathon (QHack), chúng tôi trình bày QHackBench, một bộ dữ liệu chuẩn mới, để đánh giá hiệu suất của LLM so với việc tạo mã lượng tử dựa trên PennyLane. Chúng tôi so sánh và đánh giá các phương pháp gợi ý cơ bản và phương pháp tạo mã tăng cường tìm kiếm (RAG), sử dụng một khuôn khổ đánh giá có cấu trúc để đánh giá tính chính xác về mặt chức năng, tính hợp lệ cú pháp và tỷ lệ thành công thực thi trên các vấn đề có độ khó khác nhau. Chúng tôi chứng minh rằng mô hình dựa trên RAG, sử dụng bộ dữ liệu PennyLane mở rộng, tạo ra kết quả tương đương với phương pháp gợi ý cơ bản ngay cả trên các thuật toán lượng tử phức tạp. Hơn nữa, chúng tôi đề xuất một quy trình đánh giá đa tác nhân để sửa các giải pháp không chính xác theo chu kỳ, từ đó nâng cao hơn nữa tỷ lệ thành công thực thi. Bằng cách công khai bộ dữ liệu QHackBench, khuôn khổ đánh giá và kết quả thử nghiệm, chúng tôi mong muốn thúc đẩy nghiên cứu về lập trình lượng tử dựa trên AI.
