Bài báo này báo cáo kết quả của các thí nghiệm với nhiều chiến lược khác nhau để cải thiện khả năng phát hiện sự hài hước pha trộn mã và sự mỉa mai. Chúng tôi đã khám phá ba phương pháp: (i) trộn mẫu ngôn ngữ bản địa, (ii) học đa nhiệm vụ (MTL) và (iii) nhắc nhở và tinh chỉnh hướng dẫn của mô hình ngôn ngữ đa ngôn ngữ quy mô lớn (VMLM). Trộn mẫu ngôn ngữ bản địa liên quan đến việc thêm các mẫu nhiệm vụ đơn ngữ vào bộ huấn luyện trộn mã, trong khi huấn luyện MTL liên quan đến việc sử dụng các mẫu ngôn ngữ bản địa và hỗn hợp mã từ một nhiệm vụ có liên quan về mặt ngữ nghĩa (phát hiện sự thù hận trong nghiên cứu này). Cuối cùng, chúng tôi đã đánh giá hiệu quả của VMLM thông qua nhắc nhở theo ngữ cảnh và tinh chỉnh hướng dẫn, được thực hiện qua một vài lần thử nghiệm. Kết quả thực nghiệm cho thấy việc thêm các mẫu ngôn ngữ bản địa đã cải thiện khả năng phát hiện sự hài hước và sự mỉa mai (lần lượt tăng điểm F1 lên đến 6,76% và 8,64%). Huấn luyện MLM trong khuôn khổ MTL đã cải thiện hơn nữa khả năng phát hiện sự hài hước và sự mỉa mai (lần lượt tăng điểm F1 lên đến 10,67% và 12,35%). Ngược lại, việc nhắc nhở và tinh chỉnh của VMLM không hiệu quả hơn các phương pháp khác. Ngoài ra, các nghiên cứu cắt bỏ và phân tích lỗi đã được sử dụng để xác định các khu vực cần cải thiện mô hình, và mã nguồn đã được công khai để đảm bảo khả năng tái tạo.
