Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL

작성자

Haebom

카테고리

Empty

저자

Skylar Zhai, Jingcheng Liang, Dongyeop Kang

💡 개요

기존 강화 학습 미세 조정은 대규모 언어 모델의 추론 능력을 향상시키지만, 답할 수 없는 질문에 대해 추측하거나 환각을 일으키는 경향을 강화할 수 있습니다. 본 연구에서는 명확하지만 주어진 정보로 답하기 어려운 질문에 대해 모델이 단순히 거부하는 것을 넘어, 무엇이 부족한지를 설명하도록 유도하는 새로운 강화 학습 보상 함수를 제안합니다. 이를 통해 학습된 Abstain-R1 모델은 답할 수 없는 질문에 대한 거부 및 설명 능력을 크게 향상시키면서도 답할 수 있는 질문에 대한 성능은 유지합니다.

🔑 시사점 및 한계

•

단순히 질문에 답하는 것을 넘어, 답할 수 없는 질문에 대해 명확하게 거부하고 부족한 정보를 설명하는 능력을 강화 학습을 통해 학습시킬 수 있습니다.

•

대규모 모델 자체의 크기뿐만 아니라, 검증 가능한 보상 함수 설계를 통해 모델의 신뢰성을 향상시킬 수 있음을 보여줍니다.

•

본 연구에서 제안된 방법론은 3B 모델에서도 효과적이었지만, 더 큰 규모의 모델이나 다양한 종류의 불확실성에 대해서도 검증이 필요합니다.

PDF 보기

Made with Slashpage