본 논문은 심층 신경망(DNN)의 일반화 능력을 분석하는 새로운 관점을 제시합니다. DNN이 학습 과정 동안 암호화하는 일반화 가능한 상호작용과 일반화 불가능한 상호작용의 역학을 직접 분리하고 분석하는 방법을 제안합니다. 설명 가능한 AI의 최근 이론적 성과를 기반으로, DNN의 상세한 추론 논리를 소수의 AND-OR 상호작용 패턴으로 엄격하게 다시 작성할 수 있다는 점을 활용합니다. 이를 바탕으로 각 상호작용의 일반화 능력을 정량화하는 효율적인 방법을 제안하고, 학습 중 상호작용의 일반화 능력에 대한 뚜렷한 3단계 역학을 발견합니다. 특히, 초기 단계의 학습은 일반적으로 노이즈가 많고 일반화할 수 없는 상호작용을 제거하고 단순하고 일반화할 수 있는 상호작용을 학습합니다. 두 번째 및 세 번째 단계는 일반화하기 어려운 점점 더 복잡한 상호작용을 포착하는 경향이 있습니다. 실험 결과는 일반화 불가능한 상호작용의 학습이 학습 손실과 테스트 손실 간의 차이에 대한 직접적인 원인임을 확인합니다.
