[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Promptomatix: An Automatic Prompt Optimization Framework for Large Language Models

Created by
  • Haebom

저자

Rithesh Murthy, Ming Zhu, Liangwei Yang, Jielin Qiu, Juntao Tan, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Huan Wang

개요

대규모 언어 모델(LLM)은 정교하게 작성된 프롬프트를 사용할 때 최상의 성능을 발휘하지만, 프롬프트 엔지니어링은 여전히 수동적이고, 일관성이 없으며, 비전문가에게는 접근하기 어렵습니다. 본 논문에서는 수동 조정이나 도메인 전문 지식 없이 자연어 작업 설명을 고품질 프롬프트로 변환하는 자동 프롬프트 최적화 프레임워크인 Promptomatix를 소개합니다. Promptomatix는 경량 메타 프롬프트 기반 최적화기와 DSPy 기반 컴파일러를 모두 지원하며, 모듈식 설계를 통해 향후 더욱 발전된 프레임워크로 확장할 수 있습니다. 이 시스템은 사용자 의도를 분석하고, 합성 훈련 데이터를 생성하며, 프롬프팅 전략을 선택하고, 비용 인식 목표를 사용하여 프롬프트를 개선합니다. 5가지 작업 범주에 걸쳐 평가한 결과, Promptomatix는 기존 라이브러리에 비해 경쟁력 있거나 우수한 성능을 달성하면서 프롬프트 길이와 계산 오버헤드를 줄여 프롬프트 최적화를 확장 가능하고 효율적으로 만듭니다.

시사점, 한계점

시사점:
수동 프롬프트 엔지니어링의 어려움을 해결하는 자동화된 프롬프트 최적화 프레임워크 제공.
메타 프롬프트 기반 최적화와 DSPy 기반 컴파일러를 통한 유연하고 효율적인 프롬프트 생성.
비용 인식 목표를 통한 계산 오버헤드 감소 및 확장성 향상.
기존 라이브러리 대비 경쟁력 있거나 우수한 성능 달성.
한계점:
논문에서 제시된 5가지 작업 범주 외 다른 작업에 대한 일반화 성능은 추가 연구가 필요.
DSPy 등 특정 프레임워크 의존성으로 인한 확장성 제약 가능성 존재.
복잡한 작업이나 특수한 도메인에 대한 최적화 성능 검증이 추가적으로 필요.
👍