네트워크의 입력-출력 함수에 대한 충분한 정보를 담은 샘플을 통해 네트워크 가중치를 역설계할 수 있다. Teacher-Student 설정에서, 이는 teacher의 매핑에 대한 데이터셋을 수집하고(teacher에게 질의) student가 해당 매핑을 모방하도록 적합시키는 것으로 이어진다. teacher가 훈련된 데이터셋이 질의에 대한 합리적인 선택이다. 그러나 현재 방법들은 teacher 매개변수가 훈련 데이터보다 많은 경우 실패한다. 본 연구에서는 teacher 네트워크의 입력-출력 매핑을 가장 잘 샘플링하기 위한 증강 기법을 탐구하여 teacher의 hidden layer로부터 풍부한 표현 집합을 이끌어내는 것을 목표로 한다. 표준 증강(회전, 뒤집기, 노이즈 추가)는 식별 문제에 거의 개선을 가져오지 않는다는 것을 발견했다. 네트워크의 hidden layer의 표현 공간을 더 잘 샘플링하기 위해 맞춤형 데이터 증강 기법을 설계했다. 이를 통해 복구 가능한 네트워크 크기의 최첨단 범위를 확장하고, 훈련 데이터 포인트보다 최대 100배 더 많은 매개변수를 가진 네트워크를 복구할 수 있음을 입증했다.