AST-PAC: AST-guided Membership Inference for Code

Created by

Haebom

저자

Roham Koohestani, Ali Al-Kaswan, Jonathan Katzy, Maliheh Izadi

💡 개요

본 논문은 소스 코드에 대한 대규모 언어 모델(Code LLM)이 저작권 문제가 있는 코드를 학습할 가능성에 주목하며, 이를 감사하기 위한 멤버십 추론 공격(MIA) 방법론을 탐구합니다. 기존 PAC(Polarized Augmentation Calibration) 방법이 코드의 문법적 제약을 무시하여 성능이 저하되는 문제점을 발견하고, 이를 해결하기 위해 추상 구문 트리(AST) 기반의 문법적으로 유효한 변형을 활용하는 AST-PAC를 제안합니다. AST-PAC는 코드 모델의 출처 감사(provenance auditing)에 대한 향후 연구의 기반을 마련합니다.

🔑 시사점 및 한계

•

Code LLM에서 학습된 데이터의 출처를 감사하는 데 MIA가 효과적인 도구가 될 수 있음을 시사합니다.

•

AST-PAC는 기존 PAC 방법보다 코드 문법을 고려하여 성능을 개선하며, 특히 복잡한 코드 파일에서 유용성을 보입니다.

•

AST-PAC는 작은 파일에 대한 과도한 변형을 유발하거나, 영숫자(alphanumeric)가 풍부한 코드에서 성능 저하를 보이는 한계점을 가집니다.

PDF 보기

Made with Slashpage