Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing Few-Shot Transfer Learning with Optimized Multi-Task Prompt Tuning through Modular Prompt Composition

Created by
  • Haebom

저자

Ahmad Pouramini, Hesham Faili

개요

본 논문은 다중 작업 프롬프트 튜닝의 성능을 개선하기 위해, 각 작업의 프롬프트를 공유 프롬프트(소스 프롬프트)와 작업 특정 프롬프트(프라이빗 프롬프트)로 분해하는 방법을 제안합니다. 훈련 중에 소스 프롬프트는 미세 조정되고 프라이빗 프롬프트와 통합되어 각 작업의 타겟 프롬프트를 생성합니다. 소스 프롬프트를 결합하는 여러 가지 방법을 제시하고 비교 분석하여 소스 및 프라이빗 프롬프트의 역할을 분석하고, 성능을 최적화하기 위한 유연하고 조정 가능한 구성을 제공합니다. 실험 결과, 기존 프롬프트 튜닝 및 관련 연구보다 정확도와 강건성이 향상되었으며, 특히 소수 샷 설정에서 GLUE 벤치마크를 포함한 다양한 작업에서 다른 방법보다 뛰어난 성능을 보임을 보여줍니다. 이는 훨씬 적은 양의 훈련 데이터로 달성되어 소수 샷 설정에 유용한 방법임을 시사합니다.

시사점, 한계점

시사점:
다중 작업 프롬프트 튜닝의 성능을 향상시키는 새로운 방법 제시
소스 프롬프트와 프라이빗 프롬프트의 역할을 명확히 분석하고, 이를 바탕으로 유연한 구성 제공
소수 샷 설정에서 기존 방법 대비 뛰어난 성능 달성
적은 양의 훈련 데이터로 높은 성능을 얻을 수 있음을 보여줌
한계점:
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 작업 및 모델에 대한 확장성 평가 필요
소스 프롬프트 선택 및 결합 전략의 최적화에 대한 추가 연구 필요
👍