본 논문은 Construction Grammar 이론에 기반하여, Transformer 언어 모델인 BERT가 영어의 NPN (Noun-Preposition-Noun) 구문(예: face to face, day to day)과 같은 드문 구문의 형태와 의미를 어떻게 표상하는지 조사합니다. 연구진은 의미적으로 주석이 달린 말뭉치 인스턴스(함정 항목 포함)로 구성된 벤치마크 데이터셋을 만들고, 이를 사용하여 탐색 분류기를 훈련하고 평가했습니다. 그 결과, BERT 임베딩이 NPN 구문의 의미를 나타내는 지표를 포함하고 있음을 밝혔습니다. 또한, 진짜 NPN 구문의 단어 순서를 인위적으로 바꾸면 거부되는 것을 통해 형태에 대한 민감성을 확인했습니다. 결론적으로 BERT는 표면적인 구문 패턴 및 어휘 단서를 넘어 NPN 구문에 대한 지식을 잠재적으로 암호화하고 있음을 보여줍니다.
