본 논문은 대규모 언어 모델(LLM)의 취약점을 이해하기 위해 RLHF/DPO 정렬 과정에서 발생할 수 있는 데이터 포이즈닝 공격에 대한 연구를 수행한다. 특히, 비교 출력물을 변경하지 않고 RLHF/DPO 과정에서 선호도 레이블을 뒤집어 공격자의 목표로 LLM의 정책을 유도하는 최소 비용의 포이즈닝 공격을 연구한다. 이를 선형 제약 조건이 있는 볼록 최적화 문제로 공식화하고, 최소 공격 비용에 대한 하한 및 상한을 도출한다. 또한, 기존 레이블 뒤집기 공격에 대한 사후 처리를 통해 필요한 레이블 뒤집기 횟수를 줄이는 방법을 제안한다. 실험 결과는 제안된 비용 최소화 사후 처리가 특히 보상 모델의 특징 차원이 데이터 세트 크기에 비해 작을 때 포이즈닝 비용을 크게 줄일 수 있음을 보여준다.
