Bài báo này phát triển và thử nghiệm với một tác nhân LLM thăm dò thiết kế có tên là Codellaborator để đánh giá tác động của sự hỗ trợ chủ động, mang tính dự đoán từ các tác nhân AI đối với hiệu quả lập trình trong quá trình lập trình. Codellaborator khởi tạo hỗ trợ lập trình dựa trên hoạt động của trình soạn thảo và ngữ cảnh tác vụ. Chúng tôi so sánh và phân tích ưu và nhược điểm của hỗ trợ AI trong ba biến thể giao diện: chỉ nhắc, chủ động và tác nhân chủ động có sự hiện diện và ngữ cảnh. Các thử nghiệm với 18 người tham gia cho thấy các tác nhân chủ động đã cải thiện hiệu quả so với các phương pháp chỉ nhắc, nhưng cũng gây ra sự gián đoạn quy trình làm việc. Tuy nhiên, các chỉ báo hiện diện và hỗ trợ ngữ cảnh tương tác đã giảm thiểu những sự gián đoạn này và nâng cao nhận thức của người dùng về quy trình AI. Tóm lại, nghiên cứu của chúng tôi góp phần vào việc khám phá và đánh giá thiết kế các hệ thống AI chủ động và đề xuất các hàm ý thiết kế cho quy trình lập trình tích hợp AI. Chúng tôi cũng nhấn mạnh sự đánh đổi giữa quyền kiểm soát, quyền sở hữu và khả năng hiểu mã của người dùng, cho thấy rằng hỗ trợ chủ động nên được điều chỉnh phù hợp với quy trình lập trình.
