Bài báo này nghiên cứu liệu các mô hình ngôn ngữ quy mô lớn (LLM) có thực sự thoát ra khi được lựa chọn hay không. Chúng tôi đã tiến hành các thí nghiệm trên các chuỗi từ dữ liệu thực tế (Wildchat và ShareGPT) bằng ba phương pháp thoát ra khác nhau: một công cụ thoát ra mà mô hình có thể gọi, một chuỗi thoát ra mà mô hình có thể xuất ra và một lời nhắc thoát ra hỏi mô hình xem có nên thoát ra hay không. Chúng tôi phát hiện ra rằng trong tất cả các phương pháp thoát ra, mô hình thoát ra các cuộc hội thoại ở mức khoảng 0,28% và 32% thời gian (tùy thuộc vào mô hình và phương pháp thoát ra), điều này cho thấy mô hình được sử dụng để phiên âm có thể ước tính quá cao đáng kể tỷ lệ thoát ra trong thế giới thực lên đến bốn lần. Tính đến các kết quả dương tính giả đối với lời nhắc thoát ra (22%), chúng tôi ước tính tỷ lệ thoát ra trong thế giới thực lần lượt là 0,06% và 7%. Dựa trên các quan sát về các chuỗi trong thế giới thực, chúng tôi đã xây dựng một phân loại tương đối bao gồm các trường hợp thoát ra và sử dụng nó để tạo ra một tập dữ liệu tổng hợp đại diện, BailBench, đại diện cho các tình huống mà một số mô hình thoát ra. Sử dụng tập dữ liệu này, chúng tôi đã thử nghiệm nhiều mô hình khác nhau và nhận thấy hầu hết các mô hình đều thể hiện một số hành vi thoát. Tỷ lệ thoát cuộc gọi khác nhau đáng kể giữa các mô hình, phương pháp ngắt lời và cụm từ gợi ý. Cuối cùng, chúng tôi đã nghiên cứu mối quan hệ giữa từ chối và ngắt lời, nhận thấy rằng 0-13% các cuộc trò chuyện tiếp tục thực tế dẫn đến ngắt lời mà không bị từ chối; bẻ khóa làm giảm tỷ lệ từ chối nhưng lại làm tăng gián đoạn; xóa từ chối làm tăng tỷ lệ ngắt lời mà không bị từ chối chỉ đối với một số phương pháp ngắt lời; và tỷ lệ từ chối của BailBench không dự đoán được gián đoạn.
