Capturing Polysemanticity with PRISM: A Multi-Concept Feature Description Framework
Created by
Haebom
Category
Empty
저자
Laura Kopf, Nils Feldhus, Kirill Bykov, Philine Lou Bommer, Anna Hedstrom, Marina M. -C. Hohne, Oliver Eberle
개요
본 논문은 대규모 언어 모델(LLM)의 특징을 이해하기 위해 자동 해석 가능성 연구를 수행하며, 특히 LLM의 특징을 설명하는 기존 방법의 한계점인 제한된 견고함과 단일 의미 가정에 주목합니다. 이를 해결하기 위해, PRISM(Polysemantic FeatuRe Identification and Scoring Method)이라는 새로운 프레임워크를 제안합니다. PRISM은 LLM의 특징 복잡성을 포착하도록 설계되었으며, 단일 특징에 여러 의미가 포함될 수 있는 다의성(polysemanticity)을 고려하여 보다 정확하고 충실한 특징 설명을 생성합니다. 기존 방법과의 광범위한 벤치마킹을 통해 PRISM이 설명 품질과 다의성 감지 능력 모두에서 향상을 보임을 입증합니다.
시사점, 한계점
•
시사점:
◦
LLM 내부 특징의 보다 정확하고 세밀한 이해를 가능하게 하는 새로운 해석 방법론 제시.
◦
단일 의미 가정을 극복하여 다의성(polysemanticity)을 고려한 특징 설명 제공.
