PersonaTeaming: Exploring How Introducing Personas Can Improve Automated AI Red-Teaming
Created by
Haebom
저자
Wesley Hanwen Deng, Sunnie S. Y. Kim, Akshita Jha, Ken Holstein, Motahhare Eslami, Lauren Wilcox, Leon A Gatys
개요
본 논문은 AI 모델의 잠재적 위험을 효과적으로 발견하기 위한 적색팀 활동에 대한 연구입니다. 기존 자동화된 적색팀 접근 방식이 인간의 배경과 정체성을 고려하지 않는다는 점을 지적하며, 인물(Persona)을 활용하여 다양한 적대적 전략을 탐색하는 새로운 방법인 PersonaTeaming을 제안합니다. "적색팀 전문가" 또는 "일반 AI 사용자"와 같은 인물을 기반으로 프롬프트를 변형하는 방법론과 다양한 인물 유형을 자동으로 생성하는 알고리즘을 개발하고, 적대적 프롬프트의 다양성을 측정하기 위한 새로운 지표도 제시합니다. 실험 결과, PersonaTeaming은 기존 최첨단 방법인 RainbowPlus에 비해 공격 성공률을 최대 144.1% 향상시키는 것으로 나타났습니다. 다양한 인물 유형과 변형 방법의 장단점을 논의하고, 자동화된 적색팀과 인간 적색팀 접근 방식 간의 상호보완성에 대한 미래 연구 방향을 제시합니다.
시사점, 한계점
•
시사점:
◦
자동화된 적색팀 활동에 인간의 정체성과 배경을 통합하는 새로운 접근 방식 제시
◦
PersonaTeaming을 통해 적대적 프롬프트의 공격 성공률을 향상시키는 효과 확인
◦
적대적 프롬프트의 다양성을 측정하는 새로운 지표 개발
◦
자동화된 적색팀과 인간 적색팀 접근 방식 간의 상호보완성 연구에 대한 새로운 방향 제시
•
한계점:
◦
현재 PersonaTeaming은 특정 유형의 인물과 변형 방법에만 국한됨. 더 다양한 인물 유형과 변형 방법에 대한 추가 연구 필요
