APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking
Created by
Haebom
저자
Can Jin, Hongwu Peng, Shiyu Zhao, Zhenting Wang, Wujiang Xu, Ligong Han, Jiahui Zhao, Kai Zhong, Sanguthevar Rajasekaran, Dimitris N. Metaxas
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 정보 검색(IR) 분야, 특히 재순위 지정(reranking)에서 제로샷 성능 향상을 위한 새로운 자동 프롬프트 엔지니어링 알고리즘 APEER을 제안합니다. 기존의 제로샷 관련성 순위 매기기는 사람이 직접 프롬프트를 설계하는 데 의존하지만, APEER는 질의와 긴 문단 쌍을 입력으로 받아 순위를 매기는 재순위 지정 작업의 복잡성을 고려하여 반복적인 피드백 및 선호도 최적화를 통해 프롬프트를 개선합니다. 실험 결과, APEER는 기존 최첨단 수동 프롬프트보다 성능이 크게 향상되었으며, 다양한 작업과 LLM에 대한 전이성도 우수함을 보였습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 재순위 지정에서 수동 프롬프트 엔지니어링에 대한 의존도를 줄일 수 있는 자동 프롬프트 엔지니어링 알고리즘 APEER 제시.
◦
APEER은 기존 최첨단 수동 프롬프트보다 성능이 우수하며, 다양한 작업과 LLM에 대한 전이성이 높음.
◦
LLM을 활용한 IR 분야의 자동화 및 효율성 향상에 기여.
•
한계점:
◦
APEER의 성능 향상은 특정 LLM과 데이터셋에 국한될 가능성 존재. 더욱 다양한 LLM과 데이터셋에 대한 추가적인 실험 필요.
◦
알고리즘의 복잡성 및 계산 비용에 대한 분석 부족. 실제 환경 적용 시 효율성 문제 발생 가능성.
