This page organizes papers related to artificial intelligence published around the world. This page is summarized using Google Gemini and is operated on a non-profit basis. The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.
본 논문은 독립적으로 훈련된 신경망 시스템(인공 신경망 또는 뇌)이 유사한 내부 표현을 형성하는 정도인 수렴 학습에 대한 대규모 연구를 제시한다. 기존 연구의 한계를 극복하기 위해, 다양한 시각 모델과 데이터셋을 대상으로 광범위한 분석을 수행하며, 여러 정렬 지표를 비교하고 훈련 과정 전반에 걸쳐 수렴 현상을 추적한다. 연구 결과는 초기 학습 단계에서 대부분의 수렴이 이루어지며, 이는 공유된 입력 통계 및 아키텍처적 편향에 의해 주도됨을 시사한다. 또한, 모델이 분포 외 이미지를 접했을 때 초기 레이어는 높은 정렬을 유지하는 반면, 후반 레이어는 분포 변화에 따라 발산하는 경향을 보였다.
시사점, 한계점
•
선형 회귀, 직교 프로크루스테스, 순열/소프트 매칭 등 다양한 정렬 방법을 비교하여, 직교 변환이 선형 변환만큼 효과적임을 확인하였다.
•
순열 기반 정렬은 낮은 점수를 보이지만, 우연 이상의 결과를 보이며 특권적인 표현 기반을 시사한다.
•
훈련 초기에 대부분의 수렴이 발생하며, 이는 정확도 향상보다 입력 통계 및 아키텍처 편향에 기인한다.
•
분포 외 이미지에 대한 테스트에서 초기 레이어는 높은 정렬을 유지하는 반면, 후반 레이어는 분포 변화에 민감하게 반응한다.
