Transporting Task Vectors across Different Architectures without Training

작성자

Haebom

카테고리

Empty

저자

Filippo Rinaldi, Aniello Panariello, Giacomo Salici, Angelo Porrello, Simone Calderara

💡 개요

이 연구는 기존 대규모 사전 학습 모델을 새로운 작업에 적응시키는 데 필요한 매개변수 업데이트를 서로 다른 아키텍처를 가진 모델 간에 재학습 없이 전달하는 새로운 방법론 "Theseus"를 제안합니다. Theseus는 매개변수 일치가 아닌, 중간 표현에 미치는 기능적 효과를 통해 작업 업데이트를 특징짓고, 이를 직교 Procrustes 분석으로 표현 공간을 정렬한 후 기능적 일치 문제로 해결합니다. 이를 통해 시각 및 언어 모델에서 훈련 없이도 기존 방법론 대비 일관된 성능 향상을 보여줍니다.

🔑 시사점 및 한계

•

서로 다른 너비를 가진 모델 간에도 작업 업데이트를 효과적으로 전달할 수 있음을 증명하여, 작업의 정체성을 매개변수적 관점이 아닌 기능적 관점에서 이해해야 함을 시사합니다.

•

매개변수 재학습 없이 기존 모델의 작업 적응 정보를 효율적으로 활용할 수 있어, 모델 업데이트 및 배포 비용을 크게 절감할 수 있는 가능성을 제시합니다.

•

현재 방법론은 주로 모델 너비의 차이에 초점을 맞추고 있어, 모델 깊이, 종류 등 더 다양한 아키텍처 이질성에서의 적용 가능성과 성능은 향후 연구 과제로 남아있습니다.

PDF 보기

Made with Slashpage