Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Scalable Precise Computation of Shannon Entropy

Created by
  • Haebom

저자

Yong Lai, Haolong Tong, Zhenghang Xu, Minghao Yin

개요

본 논문은 부울 제약 조건으로 모델링된 프로그램에서 정보 누출량을 정량적으로 측정하는 정량적 정보 흐름 분석(QIF)에 초점을 맞추고 있다. 특히, 정보 누출량을 정량화하는 방법으로 섀넌 엔트로피를 사용하며, 이를 효율적으로 계산하는 확장 가능한 정확한 도구 PSE를 제시한다. PSE는 Algebraic Decision Diagrams와 결합 분해를 결합한 새로운 지식 컴파일 언어 ADDAND를 사용하여 프로그램의 가능한 출력을 열거하지 않고 섀넌 엔트로피를 계산하며, 출력 확률을 계산하는 모델 카운팅 쿼리 또한 최적화한다. 실험 결과, PSE는 기존 최고 성능의 근사적 도구인 EntropyEstimation보다 459개의 벤치마크 중 56개 더 많은 벤치마크를 해결했으며, 두 도구 모두 해결한 벤치마크의 98%에서 EntropyEstimation보다 최소 10배 이상 효율적임을 보였다.

시사점, 한계점

시사점:
부울 제약 조건으로 모델링된 프로그램에 대한 정확하고 확장 가능한 정량적 정보 흐름 분석 도구 PSE를 제시하였다.
기존 최고 성능 도구보다 훨씬 향상된 효율성을 실험적으로 입증하였다.
ADDAND라는 새로운 지식 컴파일 언어를 통해 섀넌 엔트로피 계산의 효율성을 높였다.
한계점:
부울 제약 조건으로 모델링되지 않은 프로그램에는 적용할 수 없다.
벤치마크의 종류와 규모에 따라 성능이 달라질 수 있다.
EntropyEstimation과의 비교 결과가 모든 경우에 PSE의 우월성을 보장하는 것은 아니다. (56개 더 많은 벤치마크 해결은 전체 성능을 완벽히 반영하지 않을 수 있다.)
👍