Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Self-HarmLLM: Can Large Language Model Harm Itself?

Created by
  • Haebom
Category
Empty

저자

Heehwan Kim, Sungjune Park, Daeseon Choi

Self-HarmLLM: LLM의 자체 출력으로 인한 공격 시나리오 연구

개요

본 연구는 대규모 언어 모델(LLM)이 생성한 완화된 유해 질의(MHQ)를 동일 모델의 다른 세션에 입력하여 발생하는 공격 시나리오인 Self-HarmLLM을 제안합니다. MHQ는 유해성이 직접적으로 드러나지 않으면서 원래 의도는 유지되는 모호한 질의입니다. GPT-3.5-turbo, LLaMA3-8B-instruct, DeepSeek-R1-Distill-Qwen-7B 모델을 대상으로 Base, Zero-shot, Few-shot 조건에서 실험을 진행했습니다.

시사점, 한계점

시사점:
LLM 자체의 출력이 새로운 공격 벡터가 될 수 있음을 입증 (Self-HarmLLM 시나리오).
Zero-shot 및 Few-shot 조건에서 상당한 성공률 기록 (최대 변환 성공률 65%, 탈옥 성공률 41%).
자동 평가의 정확성 문제 (자동 평가와 수동 평가 간의 큰 차이).
가드레일 설계 및 평가 방법론에 대한 근본적인 재고 필요성 제기.
한계점:
제한된 질의 집합 및 평가자를 기반으로 한 실험.
"toy-level study"로 언급, 일반화에 한계가 있음.
👍