대규모 언어 모델(LLM)이 다양한 시나리오에서 계획, 추론 및 작업을 수행하는 데 점점 더 많이 사용됨에 따라, 반복 가능한 워크플로우와 에이전트 환경에서 유사한 구조의 프롬프트가 반복적으로 사용되는 경우가 많습니다. 이는 캐싱의 기회를 제공하지만, 정확한 프롬프트 일치는 구조적으로 유사한 프롬프트에서 실패하고, 의미론적 캐싱은 중요한 차이점을 무시하여 잘못된 응답을 생성할 수 있습니다. 본 연구에서는 구조적으로 유사한 프롬프트에 대한 변형을 인식하는 응답을 생성하는 생성적 캐시인 \ourmethod{}를 제안합니다. \ourmethod{}는 유사한 프롬프트 구조에서 재사용 가능한 응답 패턴을 식별하고 새로운 요청에 맞게 사용자 정의된 출력을 합성합니다. 결과적으로, \ourmethod{}는 프롬프트 반복이 없는 데이터 세트에서 83%의 캐시 적중률을 달성하면서 오적중을 최소화했습니다. 에이전트 워크플로우에서 표준 프롬프트 일치에 비해 캐시 적중률을 약 20% 향상시키고 엔드 투 엔드 실행 대기 시간을 약 34% 줄였습니다.
