본 논문은 모델의 동작을 설명하기 위해 모델을 역설계하는 기계적 해석성 연구에 초점을 맞추고 있습니다. 기존 연구가 특정 행동의 정적 메커니즘에 집중한 것과 달리, 본 연구는 모델 내부의 학습 역동성을 탐구합니다. 내재적 차원 개념에서 영감을 받아 모델을 특정 작업에 대한 중복성을 가진 계산 그래프로 보고, 미세 조정 과정을 이 그래프 내의 하위 그래프를 검색하고 최적화하는 과정으로 간주합니다. 이 가설을 바탕으로, 특정 작업에 대한 하위 그래프를 반복적으로 구축하고 관련 매개변수를 휴리스틱 방식으로 업데이트하는 알고리즘인 회로 미세 조정(circuit-tuning)을 제안합니다. 신중하게 설계된 실험을 통해 가설을 검증하고 미세 조정 중 학습 역동성에 대한 자세한 분석을 제공합니다. 더 복잡한 작업에 대한 실험을 통해 회로 미세 조정이 목표 작업의 성능과 일반적인 기능 사이의 균형을 맞출 수 있음을 보여줍니다. 본 연구는 미세 조정의 역동성에 대한 새로운 분석 방법을 제시하고, 훈련 과정의 메커니즘에 대한 새로운 발견을 제공하며, 신경망 훈련을 위한 우수한 알고리즘 설계에 영감을 줍니다.
