Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Safety at Scale: A Comprehensive Survey of Large Model Safety

Created by
  • Haebom
Category
Empty

저자

Xingjun Ma, Yifeng Gao, Yixu Wang, Ruofan Wang, Xin Wang, Ye Sun, Yifan Ding, Hengyuan Xu, Yunhao Chen, Yunhan Zhao, Hanxun Huang, Yige Li, Jiaming Zhang, Xiang Zheng, Yang Bai, Zuxuan Wu, Xipeng Qiu, Jingfeng Zhang, Yiming Li, Xudong Han, Haonan Li, Jun Sun, Cong Wang, Jindong Gu, Baoyuan Wu, Siheng Chen, Tianwei Zhang, Yang Liu, Mingming Gong, Tongliang Liu, Shirui Pan, Cihang Xie, Tianyu Pang, Yinpeng Dong, Ruoxi Jia, Yang Zhang, Shiqing Ma, Xiangyu Zhang, Neil Gong, Chaowei Xiao, Sarah Erfani, Tim Baldwin, Bo Li, Masashi Sugiyama, Dacheng Tao, James Bailey, Yu-Gang Jiang

개요

본 논문은 대규모 모델(Large Models)의 안전성 연구에 대한 종합적인 검토를 제공합니다. 대규모 사전 훈련을 통한 학습 및 일반화 능력의 발전으로 인해 대규모 모델이 AI 분야 전반에 걸쳐 광범위하게 적용되고 있지만, 강건성, 신뢰성 및 윤리적 함의에 대한 우려와 같은 안전 위험에도 노출되어 있습니다. 본 논문에서는 비전 기반 모델(VFMs), 대규모 언어 모델(LLMs), 비전-언어 사전 훈련(VLP) 모델, 비전-언어 모델(VLMs), 확산 모델(DMs) 및 대규모 모델 기반 에이전트를 포함한 다양한 대규모 모델에 대한 안전 위협을 체계적으로 분류하고, 각 유형의 공격에 대한 방어 전략 및 일반적으로 사용되는 데이터셋과 벤치마크를 검토합니다. 나아가 대규모 모델 안전성의 개방형 과제를 제시하고, 포괄적인 안전 평가, 확장 가능하고 효과적인 방어 메커니즘, 지속 가능한 데이터 관행의 필요성을 강조하며, 연구 공동체의 공동 노력과 국제적 협력의 중요성을 강조합니다.

시사점, 한계점

•
시사점:
◦
대규모 모델의 다양한 안전 위협(적대적 공격, 데이터 중독, 백도어 공격, 탈옥 및 프롬프트 주입 공격, 에너지-대기 시간 공격, 데이터 및 모델 추출 공격, 신흥 에이전트 특유의 위협 등)에 대한 포괄적인 분류 제공
◦
각 공격 유형에 대한 방어 전략 및 안전 연구에 일반적으로 사용되는 데이터셋과 벤치마크에 대한 검토
◦
대규모 모델 안전성의 개방형 과제 식별 및 논의 (포괄적인 안전 평가, 확장 가능하고 효과적인 방어 메커니즘, 지속 가능한 데이터 관행 필요성 강조)
◦
연구 공동체의 공동 노력 및 국제적 협력의 중요성 강조
◦
연구자와 실무자를 위한 유용한 참고 자료 제공
•
한계점:
◦
본 논문은 existing safety research의 검토에 초점을 맞추고 있으므로, 새로운 위협이나 방어 전략의 등장에 대한 지속적인 업데이트가 필요함.
◦
다양한 유형의 대규모 모델에 대한 안전 위협을 포괄적으로 다루고 있지만, 특정 모델 또는 응용 프로그램에 대한 심층적인 분석은 부족할 수 있음.
◦
안전 평가, 방어 메커니즘, 데이터 관행에 대한 구체적인 기술적 해결책 제시보다는 필요성을 강조하는 데 그치고 있음.
👍
Made with Slashpage