DecompileBench는 역공학 워크플로우에서 디컴파일러의 효과적인 평가를 가능하게 하는 최초의 포괄적인 프레임워크입니다. 기존의 합성 마이크로 벤치마크나 주관적인 인간 평가에 중점을 둔 접근 방식과 달리, DecompileBench는 실제 환경의 요구사항인 의미적 충실도와 분석가의 사용성에 초점을 맞춥니다. 실제 프로그램(130개 프로그램에서 추출한 23,400개 함수)을 사용한 실제 함수 추출, 런타임 인식 검증, 그리고 LLM-as-Judge를 사용한 자동화된 인간 중심 평가라는 세 가지 주요 구성 요소를 통해 이를 달성합니다. 6개의 산업용 디컴파일러와 6개의 최신 LLM 기반 접근 방식을 비교 분석하여, LLM 기반 방법이 기능 정확성은 52.2% 낮지만 코드 이해도 측면에서 상용 도구를 능가함을 보여줍니다. DecompileBench는 오픈소스로 공개되어 디컴파일러 연구 발전과 보안 전문가의 정보에 입각한 도구 선택을 지원합니다.
