본 논문은 안전한 대규모 언어 모델(LLM)을 훈련하는 과정에서 기존의 거부 훈련(RT) 방법이 다양한 분포 외(OOD) 탈옥 공격에 대한 일반화에 어려움을 겪는다는 문제점을 제기합니다. Best-of-N (BoN) 평가를 통해 모델이 충분한 잠재적 안전 지식을 가지고 있지만, RT가 OOD 시나리오에서는 이를 일관되게 유도하지 못함을 보여줍니다. 이는 RT가 표면적인 지름길에 의존하여 일반화되지 않는 표현 매핑을 생성하기 때문임을 도메인 적응 분석을 통해 밝힙니다. 따라서 본 논문은 각 질의에 대한 안전 추론을 수행하도록 모델을 훈련하는 새로운 방법을 제안합니다. 다양한 안전 지식 관점을 반영하는 지침에 맞춰 추론 감독을 합성하여 모델이 심층적인 추론을 수행하고 각 질의에 대해 잠재적인 안전 지식을 명시적으로 유도하고 활용하도록 유도합니다. 실험 결과, 제안된 방법이 OOD 공격에 대한 모델의 일반화 성능을 크게 향상시키는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
기존 RT의 한계를 명확히 밝히고, OOD 공격에 대한 취약성의 근본 원인을 분석했습니다.
◦
모델 내에 존재하는 잠재적 안전 지식을 효과적으로 활용하는 새로운 훈련 방법을 제시했습니다.
◦
제안된 방법이 OOD 공격에 대한 LLM의 안전성을 크게 향상시키는 것을 실험적으로 증명했습니다.
◦
안전한 LLM 훈련을 위한 새로운 연구 방향을 제시합니다.
•
한계점:
◦
제안된 방법의 효과가 모든 유형의 OOD 공격에 대해 일반화되는지에 대한 추가 연구가 필요합니다.
◦
추론 감독의 합성 과정에 대한 자세한 설명과 그 과정의 객관성 및 일반화 가능성에 대한 추가적인 검토가 필요합니다.
