본 논문은 기존의 대규모 언어 모델(LLM) 안전 방어 체계가, 악의적인 목표를 무해한 하위 작업으로 분해하여 거부를 회피하는 분해 공격에 취약하다는 문제점을 지적합니다. 기존의 안전 정렬 기법은 즉각적인 프롬프트의 해악만 감지하고 장기적인 의도를 추론하지 못하여, 일련의 무해한 지시사항으로 나타나는 악의적인 의도를 파악하지 못하는 한계를 가지고 있습니다. 따라서 본 논문은 대화를 더 높은 수준에서 관찰하는 외부 모니터를 추가하는 것을 제안합니다. 분해 공격 모니터링 연구를 용이하게 하기 위해, 질문 응답, 텍스트-이미지 생성, 에이전트 작업 등을 포함하는 가장 크고 다양한 데이터 세트를 구축하였으며, 최첨단 LLM을 사용하여 검증한 결과 GPT-4o에서 평균 87%의 공격 성공률을 보였습니다. 또한, 무작위 작업을 분해된 하위 작업에 삽입하여 악의적인 의도를 더욱 은폐할 수 있음을 발견했습니다. 실시간 방어를 위해, 각 하위 작업을 누적적으로 평가하는 경량 순차 모니터링 프레임워크를 제안하고, 신중하게 프롬프트 엔지니어링된 경량 모니터가 93%의 방어 성공률을 달성하며, o3 mini와 같은 추론 모델보다 우수함을 보였습니다. 더불어, 무작위 작업 삽입에 대한 강건성을 유지하면서 비용을 90%, 지연 시간을 50% 절감합니다. 본 연구 결과는 경량 순차 모니터가 분해 공격을 완화하는 데 매우 효과적이며 배포 가능성이 있음을 시사합니다.
