본 논문은 대규모 비정형 문서 집합에 대한 새로운 데이터 처리 애플리케이션을 가능하게 하는 대형 언어 모델(LLM) 기반의 의미적 연산자 시스템을 위한 최적화기인 Abacus를 제시한다. 기존의 의미적 연산자 시스템은 성능이 뛰어나지만 최적화가 어렵다는 한계를 가지고 있다. Abacus는 비용 기반의 확장 가능한 최적화기로, 제약 조건이 있는(또는 없는) 최적화 목표를 고려하여 의미적 연산자 시스템의 최적 구현을 검색한다. 최소한의 검증 예시와 기존 성능 정보를 활용하여 연산자 성능을 추정하며, 생의학 및 법률 분야의 문서 처리 작업(BioDEX, CUAD)과 다중 모달 질의응답(MMQA)에서 평가되었다. 실험 결과, Abacus로 최적화된 시스템은 기존 최고 시스템보다 18.7%-39.2% 향상된 품질과 최대 23.6배 낮은 비용, 4.2배 낮은 지연 시간을 달성했다.
