본 논문은 클라우드 기반 대규모 언어 모델(LLM)의 개인정보보호 및 대역폭 문제를 해결하기 위해, 개인정보 보호를 고려한 무선 협업 전문가 혼합(PWC-MoE) 프레임워크를 제안합니다. PWC-MoE는 민감한 토큰은 로컬 클라이언트의 개인정보 전문가에게, 비민감한 토큰은 원격 기지국에 있는 비개인정보 전문가에게 동적으로 라우팅하는 희소 개인정보 보호 게이트 네트워크를 사용합니다. 게이트 네트워크는 각 토큰이 하나의 전문가에 의해서만 처리되도록 하여 계산 효율성을 높이고, 그룹별 부하 분산 메커니즘을 통해 특정 전문가의 과부하를 방지합니다. 또한, 대역폭 제약 상황에서 모델 성능을 유지하기 위해 대역폭 적응형 및 중요도 인식 토큰 오프로딩 기법을 제안하여, 중요도 예측기를 통해 비민감 토큰의 중요도를 평가하고, 이용 가능한 대역폭에 따라 중요한 토큰을 우선적으로 기지국으로 전송합니다. 실험 결과, PWC-MoE 프레임워크는 대역폭 제약 환경에서도 개인정보를 효과적으로 보호하고 높은 성능을 유지함을 보여줍니다.
