대규모 언어 모델(LLM)의 텍스트 임베딩은 다양한 분야에서 활용되지만, 하이퍼링크나 인용과 같은 구조적 정보를 간과하는 경향이 있다. 본 논문은 LLM의 내부 인코딩 과정에 구조적 관계를 직접 통합하여 구조 인지 텍스트 임베딩을 생성하는 새로운 패러다임을 제시하고 체계적으로 평가한다. 순차적 연결과 병렬 캐싱의 두 가지 주요 방법을 연구하고, 검색, 클러스터링, 분류, 추천 작업에서 텍스트 기반, 사후 집계 방식보다 우수한 성능을 보임을 입증했다. 또한, 잡음이 있는 구조적 데이터를 처리하기 위한 Context Distillation 및 Semantic Balancing 기술을 소개하고 검증했다.
