본 논문은 오프라인 정렬에서 노이지 레이블의 영향을 이론적으로 연구하며, 특히 개인 정보 보호와 적대적 손상에 대한 강건성 간의 상호 작용에 초점을 맞춥니다. 선형 모델링 가정 하에서, 인간 피드백 강화 학습(RLHF)과 직접 선호도 최적화(DPO) 모두를 포함하는 통합 분석을 제시합니다. 여기에는 인간 선호도 레이블이 적대자에 의해 손상되기 전에 개인 정보가 보호되는 지역적 차등 개인 정보 보호-그 후-손상(LTC)과 레이블이 개인 정보 보호 전에 손상되는 손상-그 후-지역적 차등 개인 정보 보호(CTL)와 같은 다양한 개인 정보 보호-손상 시나리오가 포함됩니다. 본 논문은 선형 모델링 가정 하에서 오프라인 정렬 문제를 로지스틱 회귀의 매개변수 추정으로 축소하는 축소 프레임워크를 활용합니다. 이 프레임워크를 통해 LTC와 CTL 간의 흥미로운 분리 결과를 확립하여, 선형 모델에서도 LTC가 오프라인 정렬에서 CTL보다 더 큰 과제를 제시함을 보여줍니다. 중요한 부산물로, 본 연구 결과는 개인 정보 보호 전용 또는 손상 전용 시나리오에서 오프라인 정렬에 대한 최첨단 이론적 결과를 발전시킵니다.
