본 논문은 Construction Grammar 이론에 기반하여, Transformer 기반 언어 모델인 BERT가 영어의 NPN(Noun-Preposition-Noun) 구문(예: face to face, day to day)을 어떻게 표현하는지 조사합니다. NPN 구문은 다의어적 특성을 가지는 비교적 드문 구문입니다. 연구진은 의미적으로 주석된 말뭉치 데이터셋(오류항 포함)을 구축하고, 이를 이용하여 BERT의 표상을 탐색하는 프로빙 분류기를 학습 및 평가했습니다. 실험 결과, BERT 임베딩이 NPN 구문의 의미를 나타내는 정보를 포함하고 있으며, 단순한 표면적인 통사 구조나 어휘 단서를 넘어선 NPN 구문에 대한 지식을 암묵적으로 포함하고 있음을 보여줍니다. 특히, 단어 순서를 인위적으로 변경하면 NPN 구문으로 인식하지 못하는 결과를 통해 형태에 대한 민감성도 확인했습니다.
