본 논문은 대규모 언어 모델(LLM)의 특징 상호작용을 효율적으로 식별하는 새로운 알고리즘인 ProxySPEX를 제안합니다. 기존의 상호작용 식별 방법들은 특징의 수에 따라 계산량이 기하급수적으로 증가하는 한계가 있었으나, ProxySPEX는 LLM 특징 상호작용의 계층적 구조를 활용하여 이 문제를 해결합니다. ProxySPEX는 먼저 마스크된 LLM 출력에 Gradient Boosted Trees를 적합시킨 후 중요한 상호작용을 추출합니다. 실험 결과, ProxySPEX는 기존 방법보다 20% 향상된 출력 재구성 성능을 보이며, SPEX보다 10배 적은 모델 추론을 필요로 합니다. 또한, CIFAR-10 데이터셋과 질의응답 과제를 통해 데이터 귀속 및 메커니즘 해석 가능성을 향상시키는 것을 보여줍니다.
