본 논문은 상용 대규모 언어 모델(LLM)의 폐쇄적인 특성으로 인해 개발자들이 프롬프트 튜닝에 의존하여 특정 애플리케이션에 맞는 콘텐츠 생성을 수행해야 하는 문제점을 지적합니다. 토큰 로짓(logit) 접근이 가능하다면 프롬프트 엔지니어링을 넘어 더 강력한 적응 기법이 가능할 것이라는 주장 하에, 토큰 수준 확률 재가중 프레임워크를 제안합니다. 이는 소량의 작업별 데이터와 로짓 접근을 통해 블랙박스 LLM을 특정 애플리케이션 콘텐츠 생성으로 효과적으로 유도하는 방법입니다. 다음 토큰 예측을 지도 학습 분류의 관점에서 보고, 블랙박스 LLM과 작업별 데이터의 정렬을 레이블 노이즈 수정 문제로 공식화하여 Plugin 모델이라는 오토리그레시브 확률 재가중 모델을 제시합니다. 로짓만 재가중하는 것만으로도 작업 적응이 충분한 이유에 대한 이론적 근거를 제공하며, 다양한 데이터셋, LLM, 재가중 모델을 사용한 광범위한 실험을 통해 방법의 효과를 입증하고 폐쇄형 모델에서 토큰 로짓에 대한 더 넓은 접근을 주장합니다.
