Bài báo này tiến hành phân tích chuyên sâu về khả năng nhận dạng phủ định của các mô hình nhúng văn bản phổ quát hiện đại. Các nghiên cứu trước đây đã chỉ ra rằng các mô hình nhúng văn bản theo ngữ cảnh như BERT, ELMO, RoBERTa và XLNet gặp khó khăn trong việc hiểu chính xác phủ định, nhưng khả năng nhận dạng phủ định của các mô hình nhúng văn bản phổ quát vẫn chưa rõ ràng do sự thiên vị của các chuẩn đánh giá. Trong nghiên cứu này, chúng tôi nhận thấy rằng các mô hình nhúng văn bản phổ quát hiện đại không nhận dạng được phủ định và có xu hướng diễn giải các cặp văn bản bị phủ định là tương tự về mặt ngữ nghĩa. Để giải quyết vấn đề này, chúng tôi đề xuất một phương pháp tái trọng số nhúng hiệu quả về mặt dữ liệu và tính toán mà không cần sửa đổi các tham số của các mô hình nhúng văn bản. Phương pháp được đề xuất cải thiện khả năng nhận dạng phủ định của các mô hình nhúng văn bản trên cả các tác vụ hiểu phủ định đơn giản và phức tạp, đồng thời cải thiện khả năng nhận dạng phủ định của các nhúng văn bản phổ quát đa chiều dựa trên mô hình ngôn ngữ quy mô lớn, dành riêng cho tác vụ.
