본 논문은 컴파일러 자동 튜닝을 위한 강력한 방법인 베이지안 최적화(Bayesian Optimization)의 구조적 과제와 표준화된 벤치마크 부족 문제를 해결하기 위해, 포괄적인 벤치마킹 모음인 CATBench를 제시합니다. CATBench는 이산형, 조건부, 순열 매개변수 유형부터 알려지고 알려지지 않은 이진 제약 조건, 다중 충실도 및 다중 목표 평가에 이르기까지 컴파일러 자동 튜닝의 복잡성을 포착합니다. 텐서 대수, 이미지 처리, 클러스터링과 같은 다양한 머신러닝 중심 계산을 다루며 TACO 및 RISE/ELEVATE와 같은 최첨단 컴파일러를 사용합니다. 컨테이너화된 환경을 제공하여 베이지안 최적화 알고리즘 평가를 위한 통합 인터페이스를 제공하고 재현성과 혁신을 장려합니다. 최첨단 알고리즘들을 CATBench에서 검증하여 각 알고리즘의 강점과 약점을 밝히고 베이지안 최적화와 컴파일러 자동 튜닝 연구 발전에 대한 가능성을 보여줍니다.
