본 논문은 상용 대규모 언어 모델(LLM)의 블랙박스 특성으로 인해 응용 프로그램에 맞는 콘텐츠 생성을 위한 제한적인 프롬프트 튜닝에 의존하는 현실을 지적합니다. 토큰 로짓(token logits)에 대한 접근성이 제공된다면 프롬프트 엔지니어링을 넘어서는 강력한 적응 기법이 가능할 것이라고 주장하며, 토큰 수준의 확률 재가중 프레임워크를 제안합니다. 이는 소량의 작업별 데이터와 로짓에 대한 접근성을 통해 블랙박스 LLM을 특정 응용 프로그램 콘텐츠 생성으로 효과적으로 유도하는 방법입니다. 다음 토큰 예측을 감독 분류의 관점에서 보고, 블랙박스 LLM을 작업별 데이터와 정렬하는 것을 레이블 노이즈 수정 문제로 공식화하여 Plugin 모델(자기 회귀 확률 재가중 모델)을 제시합니다. 로짓 재가중만으로도 작업 적응이 충분하다는 이론적 근거를 제시하며, 다양한 데이터셋, LLM, 재가중 모델을 사용한 실험을 통해 방법의 효과를 입증하고, 폐쇄형 모델에서 토큰 로짓에 대한 광범위한 접근성을 옹호합니다.
