본 논문은 대규모 언어 모델(LLM)의 선호도 정렬(PA)을 위한 기존 강화학습 기반 방법들의 한계점을 지적하며, 저자원 환경에서의 적용을 어렵게 만드는 고품질 데이터셋 확보의 어려움과 계산 비용 문제를 제기한다. 대안으로 제시된 LLM 언러닝 기법의 체계적인 정량적 분석 부족을 보완하기 위해, PA와 LLM 언러닝 간의 관계를 탐구하는 프레임워크를 제안한다. 구체적으로, 이중 수준 최적화 기반 방법을 도입하여 특정 부정적 예시의 언러닝이 PA 성능에 미치는 영향을 정량화하고, 모든 부정적 예시가 언러닝 시 PA 향상에 동등하게 기여하지 않음을 밝힌다. 이를 바탕으로 PA 성능을 극대화하기 위한 부정적 예시의 최적 선택 및 가중치 부여 방법을 제시하며, 이중 수준 최적화를 활용하여 효율적으로 예시를 선택하고 언러닝하는 'Unlearning to Align (U2A)' 프레임워크를 제안한다. 실험을 통해 제안된 방법의 효과를 검증한다.
