Để Giải quyết thách thức trong việc khám phá các khái niệm mới nổi trên các lớp Transformer, bài báo này đề xuất một khuôn khổ VQ-VAE xuyên lớp (CLVQ-VAE). Để khắc phục khó khăn trong việc hiểu cách các đặc điểm phát triển trong một mô hình ngôn ngữ quy mô lớn do sự pha trộn tuyến tính và sự dư thừa thông tin trong luồng dư, chúng tôi sử dụng lượng tử hóa vectơ để ánh xạ các biểu diễn trên nhiều lớp và thu gọn các đặc điểm luồng dư thừa thành các vectơ khái niệm ngắn gọn và dễ diễn giải. Cụ thể, chúng tôi kết hợp lấy mẫu dựa trên nhiệt độ top-k và cập nhật sổ mã EMA để kiểm soát không gian tiềm ẩn rời rạc và duy trì tính đa dạng của sổ mã, đồng thời khởi tạo sổ mã bằng phương pháp k-means++ hình cầu tỷ lệ để phù hợp hơn với cấu trúc ngữ nghĩa.
