Towards Understanding Layer Contributions in Tabular In-Context Learning Models
Created by
Haebom
Category
Empty
저자
Amir Rezaei Balef, Mykhailo Koshil, Katharina Eggensperger
개요
본 논문은 테이블 형식의 In-Context Learning (ICL) 모델의 각 레이어가 테이블 예측에 어떻게 기여하는지 연구합니다. TabPFN 및 TabICL 모델의 레이어 간 잠재 공간 변화를 분석하여 LLM과의 비교를 통해 잠재적인 중복 레이어를 식별하고, 모델 압축 및 해석 가능성 향상의 기회를 제시합니다.