본 논문은 대규모 언어 모델의 선택적 미세 조정 방법인 인접 가능 탐색(APE)을 제시합니다. APE는 진화적 최적화 원리를 기반으로, 모델의 안정성을 유지하면서 매개변수 수정을 체계적으로 탐색합니다. 작은 데이터 하위 집합에 대한 미세 조정을 통해 여러 후보 매개변수 업데이트를 평가하고, 성능 임계값을 초과하는 업데이트만 수락하는 필터링된 선택 프로세스를 구현합니다. 단일 기울기 방향을 따르는 표준 미세 조정과 달리, APE는 불안정한 매개변수 변경을 방지하면서 체계적인 개선을 가능하게 합니다. 뉴스 요약 작업에서 33.9% BLEU 향상과 36.2% 퍼플렉서티 감소를 달성하며 최소한의 계산 자원을 사용합니다. 성능 향상과 표현 안정성 간의 균형을 맞추는 제어된 모델 적응을 위한 실용적인 프레임워크를 제공합니다.
