본 논문은 대규모 언어 모델(LLM)의 해석성 부족 문제를 해결하기 위해, 기존의 개념 병목 모델(CBM)의 한계를 극복하는 새로운 선형 해석 가능 개념 임베딩 모델(LICEM)을 제안합니다. LICEM은 기존 해석 가능 모델보다 높은 분류 정확도를 달성하며, 블랙박스 모델과 유사한 성능을 보입니다. 또한, 기존 방법보다 더 개입 가능하고 인과적으로 일관된 설명을 제공하며, LLM 백본을 사용하여 개념 감독 없이도 학습될 수 있다는 장점이 있습니다. 기존 CBM의 한계점인 제한적인 표현력, 비선형 작업 예측기 사용 시 작업 해석 불가능성, 실제 텍스트 데이터에 적용하기 어려운 광범위한 주석 필요성 등을 해결합니다.
