Haebin Shin, Lei Ji, Yeyun Gong, Sungdong Kim, Eunbi Choi, Minjoon Seo
개요
본 논문은 대규모 언어 모델 기반 애플리케이션에서 사용되는 고정적이고 긴 프롬프트로 인한 계산 비용 문제를 해결하기 위해 Generative Prompt Internalization (GenPI) 기법을 제안한다. GenPI는 결합 학습 방식을 사용하여 프롬프트 입력을 사용하는 모델의 동작을 복제할 뿐만 아니라, 모델의 동작이 변경되어야 하는 이유와 함께 프롬프트 내용 자체도 생성한다. 다양한 에이전트 기반 애플리케이션 시나리오에서 복잡한 프롬프트를 효과적으로 내재화함을 보여준다. 전용 환경과의 상호 작용 없이 효과적인 학습을 위해 에이전트와 환경의 역할을 바꿔 대화형 데이터셋을 자율적으로 수집하는 데이터 합성 기법을 도입한다. 이 기법은 상응하는 학습 데이터셋 없이 미리 정의된 프롬프트만 있는 시나리오에 특히 유용하다. 복잡한 프롬프트를 내재화함으로써 명시적인 프롬프트 없이도 고성능과 효율적인 추론을 가능하게 한다.
