Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
Created by
Haebom
Category
Empty
저자
Arham Khan, Todd Nief, Nathaniel Hudson, Mansi Sakarvadia, Daniel Grzenda, Aswathy Ajith, Jordan Pettyjohn, Kyle Chard, Ian Foster
개요
본 논문은 모델 병합 문헌을 손실 지형 기하학의 관점에서 조망하여, 모델 병합과 손실 지형 분석에 대한 경험적 연구 결과를 신경망 훈련 및 내부 표현의 출현을 지배하는 현상과 연결합니다. 이러한 분야의 문헌에서 반복적으로 관찰된 경험적 결과들을 손실 지형 기하학의 네 가지 주요 특징, 즉 모드 볼록성, 결정론, 지향성, 연결성으로 정리합니다. 학습된 표현의 구조에 대한 모델 병합의 통찰력이 모델 해석성과 강건성에 적용될 수 있다고 주장하며, 이러한 분야의 교차점에서 유망한 새로운 연구 방향을 제시합니다.
시사점, 한계점
•
시사점:
◦
모델 병합을 통해 학습된 표현의 구조에 대한 이해를 심화시킴으로써 모델 해석성 및 강건성 향상에 기여할 수 있습니다.
◦
손실 지형 기하학의 특징(모드 볼록성, 결정론, 지향성, 연결성)을 분석하여 신경망 훈련 및 내부 표현의 출현 과정을 더 잘 이해할 수 있습니다.
◦
모델 병합과 손실 지형 분석 분야의 연구를 통합하여 새로운 연구 방향을 제시합니다.
•
한계점:
◦
제시된 네 가지 손실 지형 기하학의 특징이 모든 모델 병합 방법 및 모든 유형의 신경망에 적용 가능한지에 대한 추가 연구가 필요합니다.
◦
모델 해석성 및 강건성 향상을 위한 구체적인 방법론 제시보다는 연구 방향 제시에 그치고 있습니다.
◦
손실 지형 분석 자체의 한계 (고차원 공간에서의 분석 어려움 등)가 본 논문의 분석에도 영향을 미칠 수 있습니다.
