Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge
Created by
- Haebom
Category
Empty
저자
Songyuan Li, Jia Hu, Geyong Min, Haojun Huang
개요
본 논문은 다양한 하위 작업에서 미세 조정을 통해 뛰어난 생성 능력을 보이는 GPT-4와 같은 기반 모델(FM)에 대해 다룹니다. 분할 연합 학습(SFL)은 부분 FM 계산을 에지 서버로 오프로딩함으로써 자원 제약이 있는 로컬 장치에서 개인 정보 보호를 준수하는 FM 미세 조정을 용이하게 하여 장치-에지 시너지 미세 조정을 가능하게 합니다. 실제 에지 네트워크는 다양한 하위 작업을 지원하기 위해 여러 SFL 테넌트를 호스팅하는 경우가 많습니다. 그러나 기존 연구는 주로 단일 테넌트 SFL 시나리오에 초점을 맞추고 있으며, 다양한 하위 작업에 참여하기 위한 이기적인 로컬 장치의 효과적인 조정과 각 SFL 테넌트의 고유한 FM 미세 조정 요구 사항(예: FM 유형, 성능 목표 및 미세 조정 마감일) 충족을 보장하는 데 필수적인 다중 테넌트 설정을 위한 맞춤형 인센티브 메커니즘이 부족합니다. 이러한 간격을 해소하기 위해, 본 논문에서는 여러 SFL 테넌트가 전략적 가격 인센티브를 제공하도록 안내하여 효율적인 FM 미세 조정을 위해 고품질 장치 참여를 유도하는 새로운 가격 인센티브 메커니즘(PRINCE)을 제안합니다. 구체적으로, 먼저 독립적인 장치 참여로 인한 모델 편향을 제거하기 위해 편향에 강한 전역 SFL 모델 집계 방식을 개발합니다. 그런 다음 이기종 장치의 FM 성능 개선에 대한 기여도를 평가하기 위한 엄격한 SFL 수렴 경계를 도출하여 SFL 테넌트의 인센티브 전략을 안내합니다. 또한, 스택엘버그 균형(SE) 분석을 위한 혼잡 게임으로 테넌트 간 장치 경쟁을 모델링하여 각 SFL 테넌트의 최적 인센티브 전략을 도출합니다. 다양한 데이터 모드(텍스트, 이미지 및 오디오)에 걸쳐 4가지 대표적인 SFL 테넌트 유형(ViT, BERT, Whisper 및 LLaMA)을 포함하는 광범위한 시뮬레이션은 PRINCE가 최첨단 접근 방식에 비해 FM 미세 조정 속도를 최대 3.07배까지 높이는 동시에 미세 조정 성능 목표를 일관되게 충족함을 보여줍니다.
시사점, 한계점
•
시사점: 다중 테넌트 SFL 설정을 위한 새로운 가격 인센티브 메커니즘(PRINCE)을 제시하여 효율적인 FM 미세 조정을 위한 고품질 장치 참여를 유도합니다. 편향에 강한 전역 SFL 모델 집계 방식과 엄격한 SFL 수렴 경계를 통해 이기종 장치의 기여도를 평가하고 최적의 인센티브 전략을 도출합니다. 실험 결과, 최첨단 방식에 비해 FM 미세 조정 속도를 최대 3.07배까지 향상시키는 것을 보여줍니다.
•
한계점: 실험은 시뮬레이션에 기반하며, 실제 에지 네트워크 환경에서의 성능 검증이 추가적으로 필요합니다. 다양한 테넌트 유형과 데이터 모드를 고려하였지만, 모든 실제 시나리오를 포괄하지는 못할 수 있습니다. PRINCE 메커니즘의 확장성과 안정성에 대한 추가적인 연구가 필요합니다. 가격 설정에 대한 민감도 분석과 더욱 정교한 인센티브 모델이 추가적인 연구 주제가 될 수 있습니다.
