본 논문은 대규모 언어 모델(LLM)의 정렬 및 평가 시 인간의 선호도를 대신하는 보상 모델의 블랙박스 문제를 해결하기 위해 Rewrite-based Attribute Treatment Estimator (RATE)를 제시합니다. RATE는 감정, 유용성, 복잡성과 같은 응답의 고차원 속성에 대한 보상 모델의 민감도를 측정하는 방법으로, 특히 속성의 보상에 대한 인과 효과를 측정합니다. LLM을 이용하여 응답을 다시 작성하여 불완전한 반사실적 예시를 생성하고 인과 효과를 측정하지만, 이러한 재작성의 불완전성으로 인한 편향을 두 번의 재작성을 통해 조정하는 것이 핵심입니다. 논문은 RATE 절차의 타당성을 확립하고 실험적으로 효과적인 추정량임을 보여줍니다.
