본 논문은 기울기 하강법을 통해 모델의 상태가 어떻게 변화하는지 특징짓는 신경 탄젠트 커널(NTK) 분석을 위한 효율적인 방법을 제시한다. 특히, 순환 구조와 같이 전체 NTK 행렬 계산이 어려운 경우를 위해, 행렬을 명시적으로 계산하지 않고 트레이스 추정을 활용하는 matrix-free 방식을 제안한다. Hutch++ 트레이스 추정기를 기반으로 빠른 수렴을 보장하며, NTK의 구조를 활용하여 순방향 또는 역방향 자동 미분만을 사용하여 트레이스를 계산하는 방법을 제시한다. 이러한 한쪽 방향 추정기는 샘플 수가 적을 때, 특히 모델 상태와 파라미터 수 간의 차이가 클 때 Hutch++보다 우수한 성능을 보일 수 있다. 제안하는 matrix-free 랜덤화 기법은 NTK 분석 및 응용 속도를 획기적으로 향상시킨다.
