본 논문은 프롬프트 주입 공격을 통한 탈옥(jailbreaking)과 같은 적대적 조작에 취약한 대규모 언어 모델(LLM)의 안전성 문제를 다룹니다. 안전한 상태와 탈옥된 상태의 잠재적 하위 공간을 LLM의 은닉 활성화를 추출하여 조사했습니다. 신경과학의 인력자 역학에서 영감을 얻어, LLM 활성화가 식별 및 교란되어 상태 전이를 유도할 수 있는 준 안정 상태로 정착한다는 가설을 세웠습니다. 차원 축소 기술을 사용하여 안전한 응답과 탈옥된 응답의 활성화를 투영하여 저차원 공간에서 잠재 하위 공간을 밝혔습니다. 그런 다음 안전한 표현에 적용될 때 모델을 탈옥 상태로 이동시키는 교란 벡터를 도출했습니다. 결과는 이러한 인과적 개입이 일부 프롬프트에서 통계적으로 유의미한 탈옥 응답을 초래함을 보여줍니다. 또한 이러한 교란이 모델의 계층을 통해 어떻게 전파되는지, 유도된 상태 변화가 국지적으로 유지되는지 또는 네트워크 전체로 캐스케이드되는지 조사했습니다. 결과는 표적화된 교란이 활성화 및 모델 응답에서 뚜렷한 변화를 유발함을 나타냅니다. 이 연구는 기존의 안전장치 기반 방법에서 표현 수준에서 적대적 상태를 중화하는 선제적이고 모델에 독립적인 기술로 전환하는 잠재적인 사전 방어를 위한 길을 열어줍니다.
