यह शोधपत्र स्पार्स ऑटोएनकोडर्स (SAE) का अध्ययन करता है, जो LLMs के आंतरिक सक्रियणों से किसी एकल अवधारणा से संबंधित विशेषताएँ निकालते हैं। हम SAE प्रशिक्षण में एक प्रमुख हाइपरपैरामीटर, L0 (प्रति टोकन सक्रिय विशेषताओं की औसत संख्या), के BatchTopK SAEs पर प्रभाव की जाँच करते हैं। हम दर्शाते हैं कि यदि L0 सही ढंग से सेट नहीं किया गया है, तो SAEs, LLMs की अंतर्निहित विशेषताओं को सीखने में विफल रहते हैं। यदि L0 बहुत कम है, तो सहसंबद्ध विशेषताएँ मिश्रित होती हैं, और यदि L0 बहुत अधिक है, तो परिणामी समाधान अपक्षयी होता है, जिसके परिणामस्वरूप मिश्रित विशेषताएँ होती हैं। यह शोधपत्र किसी दिए गए प्रशिक्षण वितरण के लिए SAEs का सही L0 मान निर्धारित करने की एक विधि प्रस्तुत करता है। यह विधि एक टॉय मॉडल में वास्तविक L0 मान ज्ञात करती है और LLMs में सर्वोत्तम स्पार्स प्रोबिंग प्रदर्शन से मेल खाती है। अंत में, हम पाते हैं कि सामान्यतः प्रयुक्त SAEs के L0 मान बहुत कम होते हैं। परिणामस्वरूप, सही विशेषताओं वाले SAEs के प्रशिक्षण के लिए एक सटीक L0 सेटिंग की आवश्यकता होती है।
