본 논문은 대규모 사전 학습된 신경망의 파인튜닝 과정에서 발생하는 높은 메모리 및 계산 비용 문제를 해결하기 위해, 파인튜닝 시 일부 매개변수만 업데이트하는 방법을 제안합니다. 파인튜닝 중 기울기와 가중치 간의 상관관계 분석을 통해 큰 기울기가 작은 크기의 가중치와 관련이 있음을 발견하였고, 이를 바탕으로 작은 크기의 가중치만 동적으로 업데이트하는 NANOADAM 알고리즘을 제시합니다. NANOADAM은 기울기 계산 없이 매개변수를 선택하고, 사전 학습된 중요한 특징을 보존하며, 더 큰 학습률을 사용할 수 있게 하여 일반화 성능을 향상시키는 장점을 가지고 있습니다. 자연어 처리 및 컴퓨터 비전 작업에서의 실험 결과를 통해 성능 향상을 보여줍니다.
