Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing Robustness of LLM-Driven Multi-Agent Systems through Randomized Smoothing

Created by
  • Haebom

저자

Jinwei Hu, Yi Dong, Zhengtao Ding, Xiaowei Huang

개요

본 논문은 항공우주와 같이 안전이 중요한 영역에서 대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)의 안전성을 강화하기 위한 방어 프레임워크를 제시합니다. 연구진은 통계적 강건성 인증 기법인 랜덤 스무딩을 MAS 합의 맥락에 적용하여 적대적 영향 하에서 에이전트 결정에 대한 확률적 보장을 가능하게 합니다. 기존 검증 방법과 달리, 본 연구의 접근 방식은 블랙박스 환경에서 작동하며 강건성과 계산 효율성의 균형을 맞추기 위해 2단계 적응적 샘플링 메커니즘을 사용합니다. 시뮬레이션 결과는 제안된 방법이 합의 성능을 유지하면서 적대적 행동과 환각의 전파를 효과적으로 방지함을 보여줍니다. 이 연구는 실제 고위험 환경에서 LLM 기반 MAS의 안전한 배포를 위한 실용적이고 확장 가능한 경로를 제공합니다.

시사점, 한계점

시사점:
LLM 기반 MAS의 안전성을 향상시키는 실용적이고 확장 가능한 방어 프레임워크 제시.
적대적 공격에 대한 확률적 안전성 보장 제공.
블랙박스 환경에서 작동 가능한 랜덤 스무딩 기법 적용.
2단계 적응적 샘플링 메커니즘을 통한 효율적인 계산.
실제 고위험 환경에서 LLM 기반 MAS의 안전한 배포 가능성 제시.
한계점:
시뮬레이션 결과만 제시되어 실제 환경 적용에 대한 추가 검증 필요.
랜덤 스무딩 기법의 효율성은 적대적 공격의 강도 및 유형에 따라 달라질 수 있음.
2단계 적응적 샘플링 메커니즘의 최적 파라미터 설정에 대한 추가 연구 필요.
다양한 유형의 LLM 및 MAS 아키텍처에 대한 일반화 가능성 검증 필요.
👍