Bài báo này trình bày tổng hợp các nghiên cứu gần đây trong lĩnh vực khả năng diễn giải cơ học (MI), khám phá hoạt động bên trong của các mô hình ngôn ngữ quy mô lớn (LLM). Chúng tôi thách thức quan điểm thông thường cho rằng LLM chỉ dựa vào thống kê bề mặt, và lập luận rằng LLM phát triển các cấu trúc nội tại tương tự về mặt chức năng với các cấu trúc nắm bắt các kết nối. Để đạt được mục đích này, chúng tôi trình bày một khái niệm ba giai đoạn về sự hiểu biết (sự hiểu biết khái niệm, sự hiểu biết về trạng thái thế giới, và sự hiểu biết có nguyên tắc) và giải thích cách LLM phát triển sự hiểu biết ở mỗi giai đoạn. Tuy nhiên, chúng tôi nhấn mạnh rằng sự hiểu biết của LLM về cơ bản khác với sự hiểu biết của con người thông qua hiện tượng "cơ chế song song", và kết luận rằng thay vì tranh luận về việc LLM có hiểu hay không, chúng ta nên tập trung vào việc nghiên cứu cách tư duy độc đáo của LLM và hình thành các khái niệm phù hợp với họ.
