본 논문은 심층 신경망이 학습하는 내부 표현이 아키텍처 선택에 민감하게 반응하는 문제를 다룹니다. 다양한 아키텍처에서 학습된 구조의 안정성, 정합성, 전이성에 대한 의문을 제기하며, 선형 변환 연산자 및 수정 경로와 같은 구조적 제약이 서로 다른 아키텍처 간의 내부 표현 호환성에 어떻게 영향을 미치는지 조사합니다. 구조적 변환 및 수렴에 대한 이전 연구 결과를 바탕으로, 서로 다르지만 관련된 아키텍처 사전 지식을 가진 네트워크 간의 표현 정합성을 측정하고 분석하는 프레임워크를 개발합니다. 이론적 통찰, 실증적 조사, 제어된 전이 실험을 결합하여 구조적 규칙성이 아키텍처 변화에 더 안정적인 표현 기하학을 유도함을 보여줍니다. 이는 특정 형태의 귀납적 편향이 모델 내에서의 일반화를 지원할 뿐만 아니라 모델 간 학습된 특징의 상호 운용성을 향상시킨다는 것을 시사합니다. 마지막으로, 표현 전이성이 모델 증류, 모듈형 학습 및 강건한 학습 시스템의 원칙적인 설계에 미치는 영향에 대해 논의합니다.
