본 논문은 대규모 비정형 문서 집합에 대한 새로운 데이터 처리 애플리케이션을 가능하게 하는 대규모 언어 모델(LLM)을 다룹니다. 개발자들이 자연어 사양을 가진 선언적 AI 기반 데이터 변환 집합인 의미 연산자를 구성하여 이러한 애플리케이션을 구축할 수 있도록 여러 새로운 프로그래밍 프레임워크가 등장했습니다. 여기에는 문서 처리 작업(정보 추출, 요약 등)에 사용되는 LLM 기반 매핑, 필터링, 조인 등이 포함됩니다. 의미 연산자 시스템은 벤치마크에서 강력한 성능을 달성했지만 최적화가 어려울 수 있습니다. 이러한 설정을 위한 최적화 프로그램은 시스템을 전반적으로 최적화하는 방식으로 각 의미 연산자를 물리적으로 구현하는 방법을 결정해야 합니다. 기존 최적화 프로그램은 적용할 수 있는 최적화의 수가 제한적이며, 대부분(전부는 아니더라도) 다른 차원에 대한 제약 조건을 고려하여 시스템 품질, 비용 또는 대기 시간을 최적화할 수 없습니다. 본 논문에서는 (제약이 있을 수 있는) 최적화 목표가 주어진 의미 연산자 시스템의 최상의 구현을 검색하는 확장 가능한 비용 기반 최적화 프로그램인 Abacus를 제시합니다. Abacus는 최소한의 검증 예제와 가능한 경우 연산자 성능에 대한 사전 지식을 활용하여 연산자 성능을 추정합니다. 생의학 및 법률 분야(BioDEX; CUAD)의 문서 처리 작업량과 다중 모드 질의 응답(MMQA)에 대해 Abacus를 평가합니다. Abacus로 최적화된 시스템은 다음으로 좋은 시스템보다 18.7%~39.2% 향상된 품질과 최대 23.6배 낮은 비용 및 4.2배 낮은 대기 시간을 달성함을 보여줍니다.
