본 논문은 강화 학습 기반의 정렬 기술에서 발생하는 보상 모델의 허위 상관 관계 문제를 해결하기 위한 새로운 프레임워크를 제안한다. 관찰된 데이터가 허위 및 비허위 잠재 변수 모두에서 생성된다고 가정하고, 비허위 잠재 변수를 데이터로부터 이론적으로 식별할 수 있음을 보인다. 이 원리를 바탕으로 변분 추론을 사용하여 이러한 변수를 복구하고, 이를 활용하여 보다 견고한 보상 모델을 훈련하는 실용적인 방법을 제시한다. 합성 및 실제 데이터셋에 대한 실험을 통해 제안된 방법이 허위 상관 관계 문제를 효과적으로 완화하고 더 견고한 보상 모델을 생성함을 입증한다.
