# DocETL: Agentic Query Rewriting and Evaluation for Complex Document Processing

### 저자

Shreya Shankar, Tristan Chambers, Tarak Shah, Aditya G. Parameswaran, Eugene Wu

### 개요

본 논문은 비정형 데이터 처리에서 대규모 언어 모델(LLM)의 부정확성 문제를 해결하기 위해, 복잡한 문서 처리 파이프라인을 최적화하는 시스템인 DocETL을 제시한다.  DocETL은 사용자가 파이프라인을 선언적으로 정의할 수 있는 인터페이스를 제공하며, 에이전트 기반 접근 방식을 사용하여 파이프라인을 자동으로 최적화한다.  특히, LLM 기반 작업에 맞춘 논리적 파이프라인 재작성, 작업별 검증 프롬프트를 생성 및 조정하는 에이전트 기반 계획 평가 메커니즘, 그리고 에이전트 기반 계획 생성 및 평가의 지연 시간을 고려하여 효율적으로 유망한 계획을 찾는 최적화 알고리즘을 도입한다.  네 가지 비정형 문서 분석 작업에 대한 평가 결과, DocETL이 기존 기준보다 25%~80% 더 정확한 출력을 생성하는 계획을 찾는다는 것을 보여준다. DocETL은 오픈소스로 제공되며(docetl.org), 2025년 3월 기준 1,700개 이상의 GitHub 스타를 기록했다.

### 시사점, 한계점

- **시사점:**

    - LLM의 부정확성 문제를 해결하여 복잡한 비정형 데이터 처리 파이프라인의 정확도를 크게 향상시킬 수 있음을 보여줌.

    - 에이전트 기반 접근 방식과 논리적 파이프라인 재작성을 통해 LLM 기반 작업의 최적화를 위한 새로운 방법론을 제시함.

    - 오픈소스로 제공되어 다양한 분야의 사용자들이 활용 가능함.

    - 실제 적용 사례를 통해 성능 향상을 검증함.

- **한계점:**

    - 현재 지원하는 작업의 종류와 범위가 제한적일 수 있음.

    - 에이전트 기반 계획 생성 및 평가의 지연 시간이 최적화 과정에 영향을 미칠 수 있음.

    - 더욱 다양하고 복잡한 비정형 데이터에 대한 추가적인 평가가 필요함.

    - LLM의 성능에 의존적이므로 LLM의 한계를 완전히 극복할 수는 없음.

[PDF 보기](https://arxiv.org/pdf/2410.12189)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).