Bài báo này lập luận rằng việc hiểu hành vi của các mô hình ngôn ngữ quy mô lớn (LLM) là rất quan trọng để sử dụng chúng một cách an toàn và đáng tin cậy. Tuy nhiên, các phương pháp AI có thể giải thích (XAI) hiện có chủ yếu dựa vào các giải thích ở cấp độ từ, vốn không hiệu quả về mặt tính toán và không tương thích với lập luận của con người. Hơn nữa, chúng tôi giải quyết vấn đề coi các giải thích là đầu ra một lần, bỏ qua bản chất tương tác và lặp lại của các giải thích. Để đáp lại, chúng tôi giới thiệu LLM Analyzer, một hệ thống trực quan hóa tương tác cho phép khám phá trực quan và hiệu quả hành vi của LLM thông qua phân tích phản thực tế. LLM Analyzer có một thuật toán mới tạo ra các phản thực tế trôi chảy và có ý nghĩa về mặt ngữ nghĩa thông qua các phép loại trừ và thay thế có mục tiêu ở mức độ chi tiết do người dùng xác định. Các phản thực tế này được sử dụng để tính điểm quy kết đặc trưng và được tích hợp với các ví dụ cụ thể trong các hình ảnh hóa dựa trên bảng để hỗ trợ phân tích động hành vi của mô hình. Các nghiên cứu người dùng và phỏng vấn chuyên gia với các chuyên gia LLM chứng minh tính khả dụng và hiệu quả của hệ thống, nhấn mạnh tầm quan trọng của việc con người tham gia vào quá trình giải thích với tư cách là người tham gia chủ động, thay vì người thụ động.
