Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ProRefine: Inference-Time Prompt Refinement with Textual Feedback

작성자
  • Haebom

저자

Deepak Pandita, Tharindu Cyril Weerasooriya, Ankit Parag Shah, Isabelle Diana May-Xin Ng, Christopher M. Homan, Wei Wei

개요

본 논문은 다중 AI 에이전트가 복잡한 작업(추론, 계획 등)을 수행하는 에이전트 워크플로우에 초점을 맞춥니다. 에이전트 워크플로우의 성능은 각 에이전트의 역할을 안내하는 프롬프트에 크게 의존하며, 잘못된 프롬프트는 시스템 전체 성능 저하를 야기합니다. 이 문제를 해결하기 위해, 논문에서는 ProRefine이라는 새로운 추론 시간 최적화 방법을 제시합니다. ProRefine은 LLM 에이전트의 루프를 통해 텍스트 피드백을 생성하고 적용하여 다단계 추론 작업을 위한 프롬프트를 동적으로 개선합니다. 추가 훈련이나 정답 레이블 없이도 가능합니다. 5개의 수학적 추론 벤치마크 데이터셋에서 ProRefine은 제로샷 Chain-of-Thought 기준 모델보다 3~37% 향상된 성능을 보였으며, 작은 모델의 성능을 큰 모델 수준으로 끌어올리는 효과도 확인되었습니다. 이는 비용 효율적이고 강력한 하이브리드 AI 시스템 구축 및 고성능 AI 접근성 향상에 기여할 가능성을 시사합니다.

시사점, 한계점

시사점:
추론 시간 프롬프트 최적화를 위한 효과적인 방법인 ProRefine 제시
제로샷 Chain-of-Thought 기준 모델 대비 성능 향상 (3~37%p)
작은 모델의 성능 향상 및 비용 효율적인 AI 시스템 구축 가능성 제시
고성능 AI의 접근성 향상에 기여
한계점:
제시된 벤치마크 데이터셋이 수학적 추론에 국한됨. 다른 유형의 작업에 대한 일반화 가능성 검증 필요
ProRefine의 성능 향상이 특정 데이터셋이나 작업에 편향될 가능성 존재
LLM 에이전트 루프의 복잡성 및 계산 비용에 대한 분석 부족
실제 응용 분야에서의 확장성 및 안정성에 대한 추가 연구 필요
👍