Permissive Information-Flow Analysis for Large Language Models
Created by
Haebom
저자
Shoaib Ahmed Siddiqui, Radhika Gaonkar, Boris Kopf, David Krueger, Andrew Paverd, Ahmed Salem, Shruti Tople, Lukas Wutschitz, Menglin Xia, Santiago Zanella-Beguelin
개요
본 논문은 대규모 언어 모델(LLM)이 소프트웨어 시스템의 주요 구성 요소로 빠르게 자리 잡으면서 발생하는 보안 및 개인 정보 보호 문제를 다룹니다. 오염된 데이터로 인해 모델의 동작이 변경되고 기밀 데이터가 신뢰할 수 없는 구성 요소로 유출될 수 있다는 점을 지적합니다. 이 문제 해결을 위해 동적 정보 흐름 추적(taint tracking)을 시스템 차원에서 적용하는 접근 방식이 제시되었으나, 다양한 출처의 입력을 처리하는 LLM에는 너무 보수적인 한계가 있습니다. 따라서 본 논문에서는 모델 출력 생성에 영향을 미친 샘플의 라벨만 전파하고 불필요한 입력 라벨은 제거하는 새로운 접근 방식을 제안합니다. 프롬프트 기반 검색 증강 및 k-최근접 이웃 언어 모델을 기반으로 두 가지 변형을 구현하고, 자기 반성을 이용한 기준 모델과 비교 분석합니다. 실험 결과, 제안된 접근 방식이 85% 이상의 경우 기준 모델보다 성능이 우수함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 시스템의 보안 및 개인 정보 보호 문제에 대한 효과적인 해결책 제시.
◦
기존의 보수적인 정보 흐름 추적 방식보다 더 유연하고 효율적인 라벨 전파 기법 제안.
◦
프롬프트 기반 검색 증강 및 k-최근접 이웃 언어 모델을 활용한 실용적인 구현 및 성능 검증.
◦
85% 이상의 경우 기준 모델보다 향상된 성능을 통해 접근 방식의 실용성을 입증.
•
한계점:
◦
제안된 방법의 성능 평가는 특정 LLM 에이전트 설정에 국한됨. 다양한 환경 및 LLM 아키텍처에 대한 추가적인 평가 필요.
◦
실제 시스템에 적용 시 발생할 수 있는 오버헤드 및 성능 저하에 대한 추가적인 분석 필요.
◦
복잡한 LLM 동작에 대한 완벽한 정보 흐름 추적의 어려움. 모델의 내부 동작에 대한 완벽한 이해가 필요할 수 있음.
