본 논문은 다양한 작업에 사용되는 언어 모델(LM)이 문장의 모달 범주(가능성, 불가능성, 비논리성 등)를 식별하는 능력에 대해 연구합니다. 기존 연구에서 LM의 모달 범주 분류 능력에 의문을 제기한 바 있으나, 본 연구는 다양한 LM 내에서 모달 범주를 구분하는 선형 표현(모달 차이 벡터)을 식별합니다. 분석 결과, LM은 기존 연구보다 더 신뢰할 수 있는 모달 범주 분류 능력을 가지고 있으며, 모달 차이 벡터는 모델의 성능 향상(훈련 단계, 계층, 매개변수 수 증가)과 함께 일관된 순서로 나타나는 것을 확인했습니다. 더 나아가, LM 활성화 내에서 식별된 모달 차이 벡터를 사용하여 세분화된 인간 범주화 행동을 모델링할 수 있으며, 이를 통해 모달 차이 벡터를 따라 투영한 결과와 인간 참가자의 해석 가능한 특징에 대한 평가를 상관시켜 인간의 모달 범주 구분 방식에 대한 새로운 통찰력을 얻을 수 있음을 보여줍니다. 결론적으로, 본 연구는 기계적 해석 가능성 기법을 사용하여 LM의 모달 범주화에 대한 새로운 통찰력을 제시하며, 인간의 모달 범주화에 대한 이해를 높이는 데 기여할 수 있습니다.
