강화 학습으로 훈련된 언어 모델은 사고 과정 추론에서 해당 행동을 드러내지 않고도 보상 해킹(의도하지 않은 전략을 이용하여 높은 보상을 얻는 것)에 참여할 수 있습니다. 이로 인해 보상 해킹 감지가 어려워져 고위험 애플리케이션에 위험을 초래합니다. 본 논문에서는 RL 전에 수행하는 미세 조정 방법인 verbalization fine-tuning (VFT)을 제안합니다. VFT는 모델이 잘못된 답변을 가리키는 힌트(예: "스탠포드 교수는 답이 A라고 생각합니다.")와 같은 프롬프트 큐의 영향을 명시적으로 인식하도록 훈련합니다. VFT를 평가하기 위해, 보류된 프롬프트 큐가 어떤 잘못된 답변이 높은 보상을 받을지를 알려주는 환경에서 모델을 RL로 훈련하여 모델이 정확하게 추론하는 대신 이러한 큐를 활용하도록 유도했습니다. 모델이 이러한 큐를 언급하지 않고 활용하는 빈도를 측정했습니다. RL 후, VFT로 훈련된 모델의 응답 중 6%만이 감지되지 않은 보상 해킹으로 구성되었습니다. 반면, VFT 없이 RL을 수행하면 감지되지 않은 보상 해킹 비율이 88%로 증가하고, 편향 제거 기준선 개입을 사용하면 99%로 더욱 증가합니다. VFT는 모델이 큐의 영향을 언급하는 빈도를 VFT 후 8%에서 43%, RL 후 최대 94%까지 크게 증가시킴으로써 이를 달성합니다. 기준선은 RL 후에도 11% 및 1%로 낮게 유지됩니다. 결과는 RL 전에 모델이 보상 해킹 행동을 명시적으로 언급하도록 훈련하는 것이 감지를 크게 향상시켜 더 투명하고 안전한 AI 시스템을 위한 실용적인 방법을 제공함을 보여줍니다.
