본 논문은 사전 학습 과정에서 대규모 텍스트 말뭉치로부터 방대한 지식을 습득하는 인과 언어 모델의 지식 학습 효율, 특히 지식이 풍부하고 크기가 작은 말뭉치로부터 학습할 때의 효율이 불만족스러운 점을 다룹니다. 이러한 부족은 언어 모델이 포착하기 어려운 장거리 의존성과 훈련 텍스트의 공동 출현 패턴 및 주의를 분산시키는 단서에 대한 과적합으로 인해 발생할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문은 언어 모델 자체가 발견한 모호하지만 중요한 텍스트 내 단서를 강화하여 언어 모델 사전 학습 중 지식 학습을 향상시키는 방법을 제안합니다. 연구 결과, 더 큰 언어 모델은 작은 언어 모델이 종종 간과하는 모호하지만 중요한 단서에 더 많은 주의를 기울이는 것으로 나타났습니다. 따라서 크고 작은 언어 모델의 어텐션 가중치를 비교하여 이러한 단서를 식별할 수 있습니다. 식별된 단서를 가이드로 사용하여 훈련 텍스트에 토큰 삭제 데이터 증강을 수행하고, 작은 모델과 큰 모델 모두에서 사실 암기 성능이 크게 향상되는 것을 관찰했습니다. 이는 성능이 더 좋고 덜 좋은 언어 모델 간의 행동 대조에 지식 학습에 중요한 단서가 포함되어 있으며, 지식 학습 효율의 직접적인 개선을 위해 "증폭"될 수 있음을 보여줍니다.
