본 논문은 현대 NLP 및 AI 시스템에서 중추적인 역할을 하는 문장 임베딩의 내부 구조에 대한 이해를 증진시키고자 한다. 기존의 문장 임베딩은 코사인 유사도 등을 통해 비교는 가능하지만, 기여하는 특징들이 사람이 해석할 수 없고 복잡한 신경망 변환과 최종 풀링 연산으로 인해 내용을 추적하기 어렵다는 한계를 지닌다. 이를 해결하기 위해, 토큰 수준 표현에 사전 학습을 적용하여 문장 임베딩을 해석 가능한 구성 요소로 기계적으로 분해하는 새로운 방법을 제안한다. 풀링이 어떻게 이러한 특징들을 문장 표현으로 압축하는지 분석하고, 문장 임베딩에 존재하는 잠재적 특징들을 평가하여 토큰 수준의 기계적 해석 가능성과 문장 수준 분석을 연결함으로써 더 투명하고 제어 가능한 표현을 만든다. 연구를 통해 문장 임베딩 공간의 내부 작동 방식에 대한 흥미로운 통찰력(예: 많은 의미론적 및 구문적 측면이 임베딩에 선형적으로 인코딩됨)을 얻었다.
