본 논문은 제한된 컴퓨팅 자원을 사용하여 대규모 언어 모델(LLM)을 특정 작업에 적응시키는 간단하면서도 효과적인 방법인 인접 가능성 탐색(APE)을 제시합니다. 기존의 파인튜닝과 달리, APE는 신중하게 선택된 소규모 데이터 배치(200개 예시)를 사용하여 모델을 반복적으로 파인튜닝하고, 개선 사항만 유지합니다. 뉴스 요약 작업에서 APE는 단 60분 만에 T4 GPU를 사용하여 BLEU 점수를 40% 향상시켰으며, LoRA와 같은 더 복잡한 방법과 비슷하거나 능가하는 성능을 보였습니다. 이 방법은 컴퓨팅 자원이 제한된 연구자와 실무자에게 특히 유용합니다. 본 논문에서는 오픈소스 코드를 제공하고 자동 평가 지표와 인간 평가를 통해 APE의 효과를 보여줍니다. 진화 이론의 "인접 가능성"에서 영감을 받았지만, APE의 핵심 통찰력은 매우 실용적인 응용 프로그램을 가지고 있습니다. 즉, 소규모의 반복적인 데이터 변화는 값비싼 재훈련 없이 LLM을 작업별 성능으로 효율적으로 안내할 수 있습니다.
