Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

How Secure Are Large Language Models (LLMs) for Navigation in Urban Environments?

Created by
  • Haebom

저자

Congcong Wen, Jiazhao Liang, Shuaihang Yuan, Hao Huang, Geeta Chandra Raju Bethala, Yu-Shen Liu, Mengyu Wang, Anthony Tzes, Yi Fang

개요

본 논문은 대규모 언어 모델(LLM) 기반 내비게이션 시스템의 보안 취약성을 최초로 탐구합니다. 도시 외부 환경에서 LLM 기반 내비게이션 모델에 대한 새로운 공격 기법인 항해 프롬프트 공격(Navigational Prompt Attack)을 제시합니다. 이 공격은 원래 항해 프롬프트를 변조하여 잘못된 동작을 유발하며, 항해 프롬프트 삽입(NPI) 공격과 항해 프롬프트 교체(NPS) 공격 두 가지 유형으로 나뉩니다. Touchdown과 Map2Seq 데이터셋을 사용한 실험 결과, 백색 상자 공격과 흑색 상자 공격 모두에서 7가지 지표에 걸쳐 성능 저하를 보였습니다. 또한, 제안된 공격은 다른 LLM 기반 내비게이션 모델에도 쉽게 적용될 수 있음을 보여줍니다. 초기 대응책으로 항해 프롬프트 엔지니어링(NPE) 방어 전략을 제시하지만, 더 강력한 방어 메커니즘 개발의 필요성을 강조합니다.

시사점, 한계점

시사점:
LLM 기반 내비게이션 시스템의 보안 취약성을 최초로 규명하고, 실제적인 공격 기법을 제시했습니다.
제안된 공격의 일반성과 전이성을 실험적으로 증명했습니다.
LLM 기반 자율 주행, 물류, 응급 서비스 등의 안전성 확보를 위한 연구의 중요성을 강조했습니다.
초기 방어 전략(NPE)을 제시하여 향후 연구 방향을 제시했습니다.
한계점:
제시된 NPE 방어 전략은 초기 단계이며, 더욱 강력한 방어 메커니즘 개발이 필요합니다.
실제 환경에서의 공격 효과 및 방어 전략의 실효성에 대한 추가 연구가 필요합니다.
다양한 LLM 아키텍처 및 내비게이션 모델에 대한 광범위한 실험이 필요합니다.
👍