Leveraging Parameter Space Symmetries for Reasoning Skill Transfer in LLMs
Created by
Haebom
Category
Empty
저자
Stefan Horoi, Sangwoo Cho, Supriyo Chakraborty, Shi-Xiong Zhang, Sambit Sahu, Guy Wolf, Genta Indra Winata
개요
본 논문은 대규모 언어 모델(LLM) 간 기술 이전을 위한 강력한 기법인 Task arithmetic의 단점인 모델 간 훈련 과정에서 발생할 수 있는 부정적 간섭 현상을 해결하고자 한다. 이를 위해 Transformer 아키텍처의 고유한 대칭성을 활용하여 모델의 파라미터 공간을 먼저 정렬하는 방법을 제시한다. 특히 Grouped-Query Attention (GQA) 및 SwiGLU 레이어에 맞춰 파라미터 공간 정렬을 적용하고, 가중치 기반 및 활성화 기반 접근 방식을 모두 탐구한다. 이 정렬 기반 전략을 사용하여, 추론 능력이 없는 모델에 고급 추론 기술을 성공적으로 이전한다. 어려운 추론 벤치마크 실험 결과, 제안하는 방법이 기존의 Task arithmetic보다 일관되게 우수한 성능을 보였다. 본 연구는 LLM 간의 특화된 기술을 병합하고 이전하는 효과적인 접근 방식을 제시하며, 불필요한 미세 조정(fine-tuning)을 줄이고 모델의 적응성을 향상시킨다.
시사점, 한계점
•
시사점:
◦
Transformer 아키텍처의 대칭성을 활용한 파라미터 공간 정렬 기법을 통해 LLM 간 기술 이전 시 부정적 간섭 문제를 해결.
◦
Grouped-Query Attention (GQA) 및 SwiGLU 레이어에 맞는 파라미터 공간 정렬 방법 제시.
◦
추론 능력이 없는 모델에 고급 추론 기술을 성공적으로 이전하여 모델의 적응성 향상.
◦
기존 Task arithmetic보다 우수한 성능을 보임.
◦
LLM 간의 기술 병합 및 이전 효율성 증대.
•
한계점:
◦
논문에서 구체적인 한계점에 대한 언급은 없음. (하지만, 파라미터 정렬 자체의 복잡성, 다른 종류의 아키텍처로의 확장성 등은 잠재적인 한계점일 수 있음)
