Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DeepKnown-Guard: A Proprietary Model-Based Safety Response Framework for AI Agents

Created by
  • Haebom
Category
Empty

저자

Qi Li, Jianjun Xu, Pingtao Wei, Jiu Li, Peiqiang Zhao, Jiwei Shi, Xuan Zhang, Yanhui Yang, Xiaodong Hui, Peng Xu, Wenqin Shao

개요

본 논문은 대규모 언어 모델(LLM)의 안전성 문제를 해결하기 위해 입력 및 출력 수준에서 LLM을 보호하는 새로운 안전 응답 프레임워크를 제안합니다. 입력 수준에서는 감독 학습 기반 안전 분류 모델을 사용하여 위험을 식별하고 차별화된 처리를 수행하며, 4단계 분류 체계(Safe, Unsafe, Conditionally Safe, Focused Attention)를 통해 위험 커버리지와 비즈니스 시나리오 적응성을 향상시켜 99.3%의 위험 회수율을 달성합니다. 출력 수준에서는 Retrieval-Augmented Generation(RAG)과 특별히 미세 조정된 해석 모델을 통합하여 모든 응답이 신뢰할 수 있는 실시간 지식 기반에 기반하도록 보장합니다. 실험 결과는 제안된 안전 제어 모델이 기본 모델인 TinyR1-Safety-8B보다 공공 안전 평가 벤치마크에서 훨씬 높은 안전 점수를 달성했으며, 자체 고위험 테스트 세트에서 100% 안전 점수를 기록하여 복잡한 위험 시나리오에서 뛰어난 보호 능력을 입증했습니다.

시사점, 한계점

시사점:
입력 및 출력 수준에서 LLM의 안전성을 체계적으로 향상시키는 프레임워크 제시
세분화된 4단계 위험 분류 체계를 통해 정확한 위험 식별 및 처리 가능
RAG 기반 출력 생성으로 정보 조작 방지 및 결과 추적 가능
공공 안전 평가 벤치마크 및 고위험 테스트 세트에서 뛰어난 성능 입증
안전하고 신뢰할 수 있는 LLM 애플리케이션 구축을 위한 효과적인 엔지니어링 경로 제공
한계점:
본 논문에서 구체적인 모델 아키텍처나 하이퍼파라미터에 대한 자세한 정보 부족
프레임워크의 확장성 및 다양한 도메인으로의 일반화에 대한 추가 연구 필요
실제 배포 환경에서의 성능 및 안전성 지속적인 검증 필요
👍