Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Language Models Benefit from Preparation with Elicited Knowledge

Created by
  • Haebom

저자

Jiacan Yu, Hannah An, Lenhart K. Schubert

개요

본 논문은 제로샷 사고연쇄(CoT) 방식의 한계를 극복하기 위해, 두 개의 언어 모델을 활용하는 새로운 프롬프팅 기법인 PREP을 제안합니다. PREP은 첫 번째 언어 모델(LM1)이 관련 정보를 생성하고, 두 번째 언어 모델(LM2)이 해당 정보와 사용자 질문을 바탕으로 답변하는 방식으로 동작합니다. 이를 통해 언어 모델의 지시사항 따르기 능력을 더욱 효과적으로 활용하고, 다양한 질문응답 과제에 적용 가능하며, 특정 영역에 대한 프롬프트 엔지니어링이 필요하지 않습니다. 부품과 재료 구성을 명시하는 방대한 개략도 데이터셋에서 도출한 100개의 질문응답 데이터셋을 사용하여 PREP을 개발하였으며, 해당 데이터셋과 세 개의 기존 상식 추론 데이터셋에서 실험을 진행, 기존 방법들보다 높은 정확도를 달성했습니다.

시사점, 한계점

시사점:
제로샷 사고연쇄(CoT)의 한계를 보완하는 새로운 프롬프팅 기법 PREP 제시
두 개의 언어 모델을 활용하여 언어 모델의 지시사항 따르기 능력을 효과적으로 활용
다양한 질문응답 과제에 적용 가능하며, 도메인 특화 프롬프트 엔지니어링 불필요
다양한 데이터셋에서 기존 방법 대비 높은 정확도 달성
한계점:
PREP의 성능 평가에 사용된 데이터셋의 규모가 상대적으로 작음 (100개 질문응답 데이터셋)
다양한 유형의 질문응답 과제에 대한 일반화 성능에 대한 추가적인 연구 필요
두 개의 언어 모델을 사용함으로써 계산 비용 증가 가능성
👍