본 논문은 Transformer 기반 언어 모델(Mistral, OpenAI Large, Google embedding models, BERT)에서 복합어 표현의 구성성(compositionality)을 조사합니다. 여섯 가지 다양한 구성성 모델(덧셈, 곱셈, 팽창, 회귀 등)을 사용하여 평가한 결과, 선형 모델인 Ridge regression이 가장 잘 구성성을 설명하는 것으로 나타났습니다. 놀랍게도, 기존의 벡터 덧셈 모델 또한 다른 모델들과 거의 비슷한 성능을 보였습니다. 대부분의 임베딩 모델은 높은 구성성을 보이는 반면, BERT는 상대적으로 낮은 구성성을 보였습니다. 명확한 형용사-명사 조합으로 구성된 합성 데이터셋을 사용하여 결과를 검증하고 시각화했습니다.
