Để Cải thiện khả năng diễn giải của các mô hình Transformer, bài báo này đề xuất khuôn khổ Entropy-Lens, tạo ra một hồ sơ entropy bằng cách tính toán entropy Shannon của phân phối token tại mỗi lớp. Thay vì phân tích biểu diễn tiềm ẩn, chúng tôi phân tích sự tiến triển của phân phối token trực tiếp trong không gian từ vựng để tóm tắt quá trình tính toán của mô hình từ góc nhìn lý thuyết thông tin. Hồ sơ entropy này tiết lộ các mẫu tính toán của mô hình và được sử dụng để tìm ra mối tương quan với loại dấu nhắc, định dạng tác vụ và độ chính xác đầu ra. Các thí nghiệm được tiến hành trên nhiều mô hình Transformer và các giá trị α khác nhau để xác minh tính ổn định và tính tổng quát của entropy Shannon. Điều này đạt được mà không cần đến phương pháp giảm gradient truyền thống, tinh chỉnh hoặc truy cập thông tin nội bộ trong mô hình.
