Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Advanced Black-Box Tuning of Large Language Models with Limited API Calls

Created by
  • Haebom
Category
Empty

저자

Zhikang Xie, Weilin Wan, Peizhu Gong, Weizhong Zhang, Cheng Jin

개요

대규모 언어 모델(LLM)을 조정하는 새로운 블랙박스 튜닝 방법을 제안합니다. 이 방법은 LLM에 대한 직접적인 접근 없이, 최소한의 API 호출을 사용하여 성능을 향상시키는 것을 목표로 합니다. 핵심 전략은, LLM에 쿼리하여 얻은 "LogitMap 쌍"을 사용하여 가우시안 프로세스(GP) 대리 모델을 훈련하는 것입니다. 이 GP 모델은 프록시 모델 훈련을 안내하여 API 호출 빈도를 줄이면서, 사전 훈련된 언어 모델의 정확도를 향상시킵니다. 실험 결과, 제안된 방법은 API 쿼리 빈도를 대폭 줄이면서 기존 방법보다 높은 정확도를 달성했습니다.

시사점, 한계점

시사점:
LLM 블랙박스 튜닝에서 API 호출 비용을 획기적으로 줄이면서 모델 정확도를 향상시킬 수 있는 새로운 방법을 제시했습니다.
GP 대리 모델을 활용하여 프록시 모델 훈련을 효율적으로 안내하는 혁신적인 접근 방식을 제시했습니다.
API 쿼리 횟수를 줄이면서도 기존 방법 대비 동등하거나 더 우수한 성능을 달성했습니다.
사전 훈련된 언어 모델의 성능을 크게 향상시켰습니다 (55.92%에서 86.85%로).
한계점:
가우시안 프로세스 모델 훈련 및 관리에 대한 추가적인 계산 비용이 발생할 수 있습니다.
최소한의 쿼리 데이터셋을 구성하는 방법에 대한 세부 사항은 명시적으로 언급되지 않았습니다.
제안된 방법의 일반화 가능성은 추가적인 연구가 필요합니다. (다양한 LLM 및 작업에 대한 평가 필요)
👍