본 논문은 심층 신경망의 효과적인 초기화 방법으로서, 층 내 항등 전이를 유지하는 새로운 초기화 방법인 "Fully Identical Initialization (IDInit)"을 제안합니다. 기존의 Fixup 등의 방법은 일부 가중치를 0으로 설정하여 항등 전이를 유지하지만, 나머지 가중치의 설정이 학습에 악영향을 줄 수 있다는 문제점을 지적합니다. IDInit은 주 층과 서브 층 모두에서 항등 전이를 유지하며, 비정방 행렬의 계급 제약을 극복하기 위해 패딩된 항등 행렬을 사용합니다. 또한, 항등 행렬의 수렴 문제는 확률적 경사 하강법으로 해결 가능함을 보이고, 고차 가중치 처리 및 죽은 뉴런 문제 해결을 통해 IDInit의 일반성을 향상시킵니다. 실험 결과, IDInit은 다양한 설정에서 향상된 수렴 속도, 안정성 및 성능을 보입니다.
