Where Pretraining writes and Alignment reads: the asymmetry of Transformer weight space

작성자

Haebom

카테고리

Empty

저자

Valeria Ruscio, Eli-Shaoul Khedouri, Keiran Thompson

💡 개요

본 논문은 트랜스포머 모델의 가중치 공간에서 사전 학습(pretraining)과 선호도 정렬(preference alignment)이 서로 다른 방식으로 작용하는 비대칭성을 탐구합니다. 연구진은 가중치 변화량과 잔차 스트림 활성화 부분 공간 및 예측 부분 공간 간의 관계를 분석하는 새로운 프로브를 개발하여, 정렬 업데이트가 주로 '읽기 경로'($W_Q, W_K$)에 집중되는 반면 '쓰기 경로'($W_O, W_2$)는 상대적으로 예측 부분 공간에 대해 등방성(isotropic)을 유지함을 발견했습니다. 이는 가중치 업데이트의 외적(outer product) 구조와 각 경로에 작용하는 기울기(gradient)의 특성 차이에서 기인하며, 특히 사전 학습 단계에서 교차 엔트로피 손실이 쓰기 경로의 예측 기하학을 형성하는 데 중요한 역할을 함을 설명합니다.

🔑 시사점 및 한계

•

사전 학습은 모델의 기본적인 표현 능력을 형성하는 데 기여하며, 특히 쓰기 경로의 구조에 영향을 미칩니다.

•

선호도 정렬은 주로 읽기 경로를 통해 모델의 의사 결정 방식을 미세 조정합니다.

•

이러한 가중치 공간의 비대칭성을 이해하는 것은 모델의 동작을 해석하고, 더 효율적인 튜닝 방법을 개발하는 데 중요한 기반을 제공합니다.

•

본 연구는 트랜스포머의 특정 레이어에 초점을 맞추고 있으며, 모델 전체에 걸친 이러한 비대칭성의 보편성 및 다른 아키텍처에서의 적용 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage