본 논문은 언어 모델이 훈련 데이터에 없는 유효한 문자열을 생성하고 언어의 풍부함을 포착할 수 있는지 여부를 조사합니다. Gold와 Angluin의 통계적 언어 생성 설정을 기반으로, 알려지지 않은 언어 K의 샘플을 받아 K의 보이지 않는 문자열을 생성하는 모델을 연구합니다. 모델이 일관성과 광범위성을 가지고 K에서 생성한다는 것은 훈련 크기가 증가함에 따라 출력이 K의 모든 보이지 않는 문자열로 수렴하는 것을 의미합니다. 연구 결과, 다음 토큰 예측 모델을 포함한 광범위한 언어 모델 클래스에서 대부분의 후보 언어 집합에 대해 일관성과 광범위성을 동시에 달성하는 것이 불가능함을 보였습니다. 이는 일관성 있는 생성은 가능하지만 광범위성은 불가능하다는 Kleinberg와 Mullainathan의 결과와 대조됩니다. 부수적으로, 광범위성 유무에 따른 생성에 필요한 샘플 수에 대한 거의 정확한 경계를 설정했습니다. 마지막으로, 양성 예제와 함께 음성 예제(K 외부의 문자열)를 사용할 수 있을 때 모든 가산 가능한 언어 집합에 대해 일관성 있는 생성이 가능하다는 것을 보임으로써, 음성 예제를 암호화하는 훈련 후 피드백이 환각을 줄이고 모드 붕괴를 제한하는 데 중요할 수 있음을 시사합니다.
