EvoPref: Multi-Objective Evolutionary Optimization Discovers Diverse LLM Alignments Beyond Gradient Descent

작성자

Haebom

카테고리

Empty

저자

Dongxin Guo, Jikun Wu, Siu Ming Yiu

💡 개요

기존 경사 하강법 기반 LLM 정렬 방식은 과도한 편향 수렴으로 인해 행동 다양성을 간과하는 '편향 붕괴' 문제를 겪습니다. 본 연구에서는 도움, 무해함, 정직함이라는 다중 목표에 대해 LoRA 어댑터의 개체군을 유지하며 비열등 정렬 유전 알고리즘 II (NSGA-II) 선택과 아카이브 기반 다양성 보존을 사용하는 다중 목표 진화 최적화 알고리즘인 EvoPref를 제안합니다. EvoPref는 기존 방법론 대비 18% 향상된 편향 커버리지와 47% 감소된 붕괴율을 달성하며, 경쟁력 있는 정렬 품질을 제공합니다.

🔑 시사점 및 한계

•

EvoPref는 기존 경사 하강법 기반 방법 대비 훨씬 더 다양한 LLM 정렬을 발견하며, 특히 편향 붕괴 문제를 효과적으로 해결합니다.

•

다중 목표 진화 알고리즘과 다양성 보존 기법이 LLM 정렬의 포괄성과 안정성을 높이는 데 필수적임을 입증합니다.

•

이론적 분석은 아카이브 기반 방법이 단일 궤적 최적화보다 붕괴에서 벗어나는 데 더 효과적인 이유를 설명합니다.

•

향후 연구에서는 EvoPref를 다양한 LLM 모델 및 정렬 목표에 적용하고, 진화 알고리즘의 탐색 공간을 더욱 최적화하는 방안을 모색할 수 있습니다.

PDF 보기

Made with Slashpage