COSMIC: Generalized Refusal Direction Identification in LLM Activations
Created by
Haebom
저자
Vincent Siu, Nicholas Crispino, Zihao Yu, Sam Pan, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang
개요
본 논문은 대규모 언어 모델(LLM)의 거부 행동 식별을 위한 자동화된 프레임워크인 COSMIC(Cosine Similarity Metrics for Inversion of Concepts)을 제안한다. 기존 방법들이 출력 토큰에서 감지 가능한 사전 정의된 거부 템플릿에 의존하거나 수동 분석을 필요로 하는 것과 달리, COSMIC은 코사인 유사도를 사용하여 모델 출력과 무관하게 실행 가능한 조향 방향과 목표 레이어를 식별한다. COSMIC은 특정 거부 토큰의 존재와 같은 모델의 거부 행동에 대한 가정 없이도 기존 방법들과 비슷한 조향 성능을 달성하며, 적대적 환경과 약하게 정렬된 모델에서도 거짓 거부의 증가를 최소화하면서 안전한 행동으로 모델을 조향할 수 있음을 보여준다. 다양한 정렬 조건에 걸쳐 강건성을 입증한다.
시사점, 한계점
•
시사점:
◦
모델 출력에 대한 가정 없이 LLM의 거부 행동을 식별하고 조향하는 자동화된 프레임워크를 제공한다.
◦
적대적 환경 및 약하게 정렬된 모델에서도 효과적이며 강건하다.
◦
거짓 거부를 최소화하면서 안전한 행동으로 모델을 조향할 수 있다.
◦
기존 방법들과 비교하여 유사한 성능을 보인다.
•
한계점:
◦
논문에서 COSMIC의 한계점에 대한 구체적인 언급이 부족하다. 추가적인 실험이나 분석을 통해 한계점을 명확히 밝힐 필요가 있다.
