본 논문은 ReLU 활성화 함수를 사용하는 순전파 신경망이 적절히 정의된 저 복잡도 데이터에 대해 일반화 성능을 보임을 증명합니다. 단순 프로그래밍 언어로 생성된 i.i.d. 데이터가 주어지면, 데이터를 보간하는 최소 기술 길이(MDL) 순전파 신경망이 높은 확률로 일반화됩니다. 논문에서는 이 단순 프로그래밍 언어와 그러한 신경망의 기술 길이 개념을 정의합니다. 소수 판별과 같은 기본적인 계산 작업에 대한 여러 가지 예시를 제공합니다. 소수 판별의 경우, 정리에서 다음과 같은 내용을 보여줍니다. 1부터 N까지 균일하게 무작위로 추출한 n개의 숫자의 i.i.d. 표본을 가정합니다. 각 숫자 xi에 대해, xi가 소수이면 yi = 1, 그렇지 않으면 yi = 0이라고 합니다. 그러면 보간 MDL 네트워크는 1부터 N 사이의 새로 추출된 숫자가 소수인지 아닌지를 1-O( (ln N)/n )의 확률로 정확하게 답합니다. 네트워크는 소수를 감지하도록 설계되지 않았다는 점에 유의하십시오. 최소 기술 학습은 그렇게 하는 네트워크를 발견합니다. 잡음이 있는 데이터에 대한 확장도 논의되어 MDL 신경망 보간기가 온건한 과적합을 보일 수 있음을 시사합니다.
