ट्रांसफॉर्मर मॉडलों की व्याख्यात्मकता में सुधार हेतु, यह शोधपत्र एंट्रॉपी-लेंस ढाँचे का प्रस्ताव करता है, जो प्रत्येक परत पर टोकन वितरण की शैनन एंट्रॉपी की गणना करके एक एंट्रॉपी प्रोफ़ाइल उत्पन्न करता है। अव्यक्त निरूपण का विश्लेषण करने के बजाय, हम सूचना-सैद्धांतिक दृष्टिकोण से मॉडल की गणना प्रक्रिया को संक्षेप में प्रस्तुत करने के लिए सीधे शब्दावली स्थान में टोकन वितरण के विकास का विश्लेषण करते हैं। यह एंट्रॉपी प्रोफ़ाइल मॉडल के गणना पैटर्न को प्रकट करती है और इसका उपयोग प्रॉम्प्ट प्रकार, कार्य प्रारूप और आउटपुट सटीकता के साथ सहसंबंधों को प्रकट करने के लिए किया जाता है। शैनन एंट्रॉपी की स्थिरता और व्यापकता को सत्यापित करने के लिए विभिन्न ट्रांसफॉर्मर मॉडलों और α मानों पर प्रयोग किए जाते हैं। यह पारंपरिक ग्रेडिएंट डिसेंट, फ़ाइन-ट्यूनिंग, या मॉडल के भीतर आंतरिक जानकारी तक पहुँच की आवश्यकता के बिना प्राप्त किया जाता है।
