대규모 언어 모델(LLM)의 안전 및 윤리적 가치 정렬은 중요한 과제이며, 특히 상충될 수 있는 여러 가치를 고려해야 할 때 더욱 어렵습니다. 기존 정렬 방법은 다중 가치 최적화의 불안정성과 비효율성, 가치 충돌 처리의 어려움 등의 한계가 있습니다. 이 논문에서는 이러한 문제를 해결하기 위해 상호 정보를 최소화하여 다양한 인간 가치 간의 매개변수 간섭을 완화하는 새로운 프레임워크인 Multi-Value Alignment (MVA)를 제안합니다. 또한 Pareto 프론티어를 효율적으로 탐색하기 위한 가치 외삽 전략을 제시하여 다양한 가치 선호도를 가진 LLM 세트를 구축합니다. 광범위한 실험을 통해 MVA가 기존 baseline보다 우수한 성능을 보임을 입증합니다.
