본 논문은 수기로 작성된 수학식 인식(HMER) 문제에 대한 새로운 자기 지도 학습(SSL) 프레임워크를 제시합니다. 기존의 고비용의 레이블링된 데이터가 필요 없도록 설계되었으며, 전역 및 지역 대조 손실을 결합하여 이미지 인코더를 사전 훈련합니다. 이를 통해 전체적인 표현과 세부적인 표현을 모두 학습할 수 있습니다. 또한, 새로운 자기 지도 어텐션 네트워크를 제안하는데, 이는 점진적인 공간 마스킹 전략을 사용하여 훈련됩니다. 이 어텐션 메커니즘은 연산자, 지수, 중첩된 수학 표기법과 같은 의미있는 영역에 집중하도록 설계되어 있으며, 어떠한 감독도 필요하지 않습니다. 점진적인 마스킹 커리큘럼은 네트워크가 누락되거나 가려진 시각 정보에 점점 더 강해지도록 하여 구조적 이해를 향상시킵니다. 전체 파이프라인은 (1) 인코더의 자기 지도 사전 훈련, (2) 자기 지도 어텐션 학습, (3) 트랜스포머 디코더를 사용한 감독 미세 조정(LaTeX 시퀀스 생성)으로 구성됩니다. CROHME 벤치마크에 대한 광범위한 실험을 통해 기존 SSL 및 완전 감독 기준 모델을 능가하는 성능을 보여주어 점진적 어텐션 메커니즘의 효과를 입증했습니다.
