본 논문은 대규모 언어 모델(LLM)의 파인튜닝 과정에 대한 심층적인 해석을 제공하기 위해 회로 분석 기법을 활용합니다. 기존 연구들이 사전 훈련된 모델의 성능이 이미 우수한 작업에 초점을 맞춘 것과 달리, 본 연구는 파인튜닝을 통해 성능 향상이 뚜렷하게 나타나는 수학적 작업 집합을 개발하여 실제 환경에 더 가까운 설정을 구현합니다. 파인튜닝 과정의 여러 지점에서 회로를 식별하고, 회로 분석, 파인튜닝 방법, 작업 복잡성 간의 상호 작용을 조사합니다. 실험 결과, 파인튜닝 전후의 노드 유사성은 높게 유지되는 반면, 에지는 상당한 변화를 겪는다는 것을 발견하였습니다. 이러한 관찰을 바탕으로, 에지 변화에 따라 계층에 순위를 할당하는 회로 인식 LoRA(Low-Rank Adaptation) 방법을 개발하여 표준 LoRA 대비 평균 2.46%의 성능 향상을 달성했습니다. 또한, 하위 작업의 회로를 결합하여 구성 작업에서 파인튜닝을 향상시키는 방법을 탐구하여 구성 작업 설계에 대한 새로운 통찰력을 제공하고 회로 역학 및 파인튜닝 메커니즘에 대한 이해를 심화시킵니다.
