Nghiên cứu này, dựa trên phương pháp tiếp cận kiến tạo dựa trên cách sử dụng (UCx), tìm hiểu xem các biểu diễn bên trong của các mô hình ngôn ngữ quy mô lớn (LLM) có phản ánh các cấu trúc phân cấp giàu tính năng hay không. Sử dụng mô hình Pythia-1.4B, chúng tôi phân tích các biểu diễn của cụm từ tân ngữ kép (DO) và tân ngữ giới từ (PO) trong tiếng Anh. Chúng tôi tận dụng một tập dữ liệu gồm 5.000 cặp câu trong đó sở thích được đánh giá của con người đối với DO hoặc PO thay đổi một cách có hệ thống. Phân tích hình học cho thấy khả năng tách biệt của hai biểu diễn cụm từ, được đo bằng khoảng cách năng lượng hoặc độ phân kỳ Jensen-Shannon, được điều chỉnh một cách có hệ thống bởi cường độ ưu tiên theo gradient. Nghĩa là, các ví dụ điển hình hơn của mỗi cụm từ chiếm các vùng riêng biệt hơn trong không gian kích hoạt, trong khi các câu có khả năng xuất hiện ngang nhau trong một cụm từ thì không. Những kết quả này cung cấp bằng chứng cho thấy LLM học các biểu diễn cụm từ phân cấp phong phú và hỗ trợ phương pháp đo lường hình học đối với các biểu diễn LLM.
