Bài báo này nhấn mạnh tầm quan trọng của việc đánh giá trong việc phát triển các thuật toán xếp hạng cho hệ thống tìm kiếm và đề xuất, đặc biệt tập trung vào việc cải thiện hiệu quả của thử nghiệm A/B trong môi trường trực tuyến. Bài báo cũng nêu bật những hạn chế của thử nghiệm A/B, vốn có thể tốn nhiều thời gian để đạt được sức mạnh thống kê đủ cho các số liệu dựa trên chuyển đổi, đặc biệt là đối với các giao dịch mua có giá trị cao như đặt phòng khách sạn. Để giải quyết vấn đề này, chúng tôi đã phát triển một phương pháp đánh giá xen kẽ, bán thực nghiệm, có thể thực hiện đánh giá trực tuyến nhanh chóng để xác định những ứng viên triển vọng nhất cho thử nghiệm A/B. Phương pháp của chúng tôi cải thiện độ nhạy thử nghiệm lên đến 100 lần so với thử nghiệm A/B truyền thống (tùy thuộc vào phương pháp và số liệu) và đơn giản hóa quy trình thử nghiệm. Những hiểu biết thực tế thu được từ các hoạt động thực tế có thể mang lại lợi ích cho các tổ chức có cùng mối quan tâm.
