본 논문은 대규모 비표제 텍스트 데이터를 활용한 자기 지도 학습 기반의 텍스트 인식 트랜스포머 사전 학습 방법을 제안합니다. 마스킹 확률을 점진적으로 증가시키고, 마스크된 패치와 마스크되지 않은 패치 모두를 고려하는 손실 함수를 사용하는 두 가지 수정 사항을 제시합니다. 5천만 개의 비표제 텍스트 라인을 사용하여 사전 학습을 진행하고, 크기가 다른 네 개의 주석이 달린 데이터셋으로 미세 조정을 수행하여 제안된 방법의 효과를 실험적으로 검증합니다. 전이 학습과 비교 결과, 자기 지도 사전 학습이 문자 오류율을 최대 30%까지 개선하며, 추가적인 주석 데이터 없이 전이 학습과 유사한 성능을 달성함을 보여줍니다.
