자연어 추론 (NLI)을 위한 문장 임베딩을 생성할 때, BERT와 같은 트랜스포머 기반 모델은 높은 정확도를 보이지만, 수억 개의 매개변수를 필요로 합니다. 이 모델들은 문장을 토큰 시퀀스로 입력받아, NLI 작업에 사용할 수 있도록 의미를 임베딩으로 인코딩합니다. 본 연구에서는 의존 구문 분석 트리와 같은 명시적인 언어 구조를 활용하여 학습 효율성을 높이는 것을 목표로 합니다. 이를 위해 Graph Matching Networks (GMN)을 의존 구문 분석 트리에 적용하여 Tree Matching Networks (TMN)을 개발하고, SNLI 함의 작업과 SemEval 유사성 작업에서 BERT 기반 모델과 비교합니다. TMN은 SNLI 작업에서 BERT 기반 모델보다 훨씬 적은 메모리 사용량과 훈련 시간으로 더 나은 결과를 달성했지만, 두 모델 모두 SemEval에서는 좋은 성능을 보이지 못했습니다. 명시적인 구조 표현이 시퀀스 기반 모델보다 뛰어난 성능을 보이지만, 현재의 집계 방식이 확장성을 제한하며, 이를 해결하기 위해 multi-headed attention 집계를 제안합니다.
