Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations

작성자

Haebom

카테고리

Empty

저자

Haozheng Luo, Yimin Wang, Jiahao Yu, Binghui Wang, Yan Chen

💡 개요

본 논문은 대규모 언어 모델의 추론 능력과 내부 표현을 활용하여 보안 공격에 대한 강건성을 향상시키는 red-teaming 얼라인먼트 프레임워크인 CRAFT를 제안합니다. CRAFT는 기존의 출력 수준 방어와 달리, 내부 상태 공간에 정의된 목표를 명시적으로 최적화하여 안전 인식 추론 과정을 생성하도록 모델을 얼라인합니다. 이를 통해 모델의 추론 안전성과 최종 응답 안전성을 크게 향상시킵니다.

🔑 시사점 및 한계

•

내부 표현 기반 안전성 얼라인먼트의 효과성 입증: 모델의 최종 출력뿐만 아니라 내부 추론 과정에서의 안전성을 강화하는 것이 중요하며, 이를 위해 내부 표현 공간에서의 학습이 효과적임을 보여줍니다.

•

강화학습과 대조적 표현 학습의 시너지: 두 방법론을 결합하여 안전하고 안전하지 않은 추론 궤적을 분리하고, 잠재 공간 기하학을 조작함으로써 강건한 추론 수준의 안전성 얼라인먼트를 달성합니다.

•

기존 최신 방어 기법 대비 우수한 성능: Qwen3-4B-Thinking 및 R1-Distill-Llama-8B 모델에서 IPO, SafeKey 등 최신 방어 기법 대비 뛰어난 성능을 보이며, 특히 추론 안전성 및 최종 응답 안전성에서 큰 개선을 이루었습니다.

•

새로운 안전성 얼라인먼트 패러다임 제시: 출력 수준을 넘어선 내부 표현 공간에서의 학습을 통해 jailbreak 공격 등 다양한 안전성 위협에 대한 모델의 방어 능력을 강화할 수 있는 새로운 방향을 제시합니다.

•

이론적 기반: 잠재-텍스트 일관성을 GRPO에 통합함으로써 표면적으로만 얼라인된 정책을 로컬 최적점으로 간주하여 제거할 수 있음을 이론적으로 증명합니다.

•

한계점 또는 향후 과제: 본 연구에서 사용된 모델 및 벤치마크 외의 다양한 모델과 복잡한 공격 시나리오에 대한 CRAFT의 일반화 가능성 및 성능 검증이 필요합니다. 또한, 내부 표현 공간의 학습에 필요한 계산 비용 및 효율성 최적화에 대한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage