본 논문은 대규모 언어 모델(LLM)을 여러 목표를 동시에 만족하도록 정렬하는 문제를 해결하기 위해 계층적 전문가 혼합 모델인 HoE를 제시합니다. HoE는 모델 재훈련 없이도 다양한 사용자 선호도를 수용하고 파레토 최적점에 도달할 수 있도록 하는 경량, 매개변수 효율적, 플러그 앤 플레이 방식의 접근법입니다. LoRA 전문가, 라우터 전문가, 선호도 라우팅의 세 가지 계층적 구성 요소로 이루어져 있으며, 매개변수 크기, 훈련 비용, 성능 간의 균형을 이룹니다. 6개의 벤치마크, 14개의 목표, 200개의 선호도에 걸쳐 다양한 작업에서 HoE를 평가하여 15개의 최신 기준 모델보다 우수한 성능을 입증했습니다.
