Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
Created by
Haebom
저자
Pengfei Jin, Peng Shu, Sifan Song, Sekeun Kim, Qing Xiao, Cheng Chen, Tianming Liu, Xiang Li, Quanzheng Li
개요
본 논문은 매개변수 효율적인 전이 학습에서 사전 훈련된 모듈 라이브러리로부터 LoRA 어댑터를 구성하는 방법을 제시합니다. 기존의 접근 방식은 단순한 검색 휴리스틱이나 균일 평균에 의존하여 표현 공간에서의 작업 관계의 잠재 구조를 간과하는 한계가 있습니다. 본 논문에서는 어댑터 재사용을 위한 새로운 프레임워크를 제안하는데, 이는 어댑터 구성을 기하학 인식 희소 재구성 문제로 공식화합니다. 구체적으로, 기본 모델의 인코더에서 파생된 잠재 원형 벡터로 각 작업을 표현하고, ℓ1-정규화 최적화 목표 하에 검색된 참조 원형의 희소 선형 결합으로 대상 작업 원형을 근사화하는 것을 목표로 합니다. 결과적으로 얻어진 결합 가중치는 해당 LoRA 어댑터를 혼합하는 데 사용되어 대상 작업에 맞는 복합 어댑터를 생성합니다. 이 공식은 작업 표현 다양체의 지역 기하 구조를 보존할 뿐만 아니라 관련 어댑터의 최소 집합을 선택하여 해석성과 효율적인 재사용을 촉진합니다. 의료 이미지 분할, 의료 보고서 생성 및 이미지 합성을 포함한 여러 도메인에서 이 접근 방식의 효과를 보여줍니다. 실험 결과는 향상된 제로샷 일반화를 위해 검색과 잠재 기하학 인식 최적화를 결합하는 이점을 강조합니다.