Where Code Meets Natural Language: Taxonomy-Driven Information Flow Analysis for LLM-Integrated Applications
Author
- Haebom
Category
Empty
저자
Zihao Xu, Xiao Cheng, Ruijie Meng, Yuekang Li
💡 개요
이 논문은 LLM(거대 언어 모델) API 호출이 기존 프로그램 분석의 한계를 넘어선다는 문제를 제기합니다. LLM 호출은 런타임 값을 자연어 프롬프트로 전달하고, 불투명한 LLM 내부 처리를 거쳐 코드, SQL, JSON 등으로 다시 출력되므로 기존 데이터 흐름 분석을 방해합니다. 연구진은 정보 보존 수준과 출력 형식을 기준으로 24가지 라벨을 정의하는 새로운 분류 체계를 개발하여 이 NL/PL(자연어/프로그래밍 언어) 경계를 효과적으로 연결합니다.
🔑 시사점 및 한계
•
LLM 통합 애플리케이션에서 정보 흐름을 체계적으로 분석하고 추적할 수 있는 방법론을 최초로 제시했습니다.
•
제안된 분류 체계를 통해 LLM 호출의 입력 및 출력 특성을 정량화하고, 이를 바탕으로 취약점 분석 및 코드 슬라이싱과 같은 다운스트림 애플리케이션의 성능을 향상시킬 수 있음을 입증했습니다.
•
9,083개의 자리 표시자-출력 쌍에 대한 수동 라벨링과 높은 신뢰도(Cohen's $\kappa = 0.82$)를 달성했으나, 여전히 분류되지 않은 일부 사례(0.01%)에 대한 추가적인 개선 및 일반화 가능성 검증이 필요합니다.
