Trong bài báo này, chúng tôi đề xuất một mô hình nhúng khái niệm tuyến tính có thể diễn giải (LICEM) mới, khắc phục những hạn chế của mô hình nút thắt khái niệm (CBM) hiện có để giải quyết vấn đề thiếu khả năng diễn giải của các mô hình ngôn ngữ quy mô lớn (LLM). LICEM đạt độ chính xác phân loại cao hơn các mô hình có thể diễn giải hiện có và hoạt động tương tự như các mô hình hộp đen. Ngoài ra, nó còn có ưu điểm là cung cấp các giải thích thân thiện với can thiệp hơn và nhất quán về mặt nhân quả hơn so với các phương pháp hiện có, và có thể được huấn luyện mà không cần giám sát khái niệm bằng cách sử dụng xương sống LLM. Nó giải quyết vấn đề hạn chế về khả năng biểu đạt của các CBM hiện có, việc không thể diễn giải các tác vụ khi sử dụng các bộ dự đoán tác vụ phi tuyến tính, và nhu cầu về các chú thích mở rộng khó áp dụng cho dữ liệu văn bản trong thế giới thực.
