PromptWise는 생성형 AI 모델 선택 시 성능뿐만 아니라 서비스 비용을 고려하는 온라인 학습 프레임워크입니다. 이 프레임워크는 프롬프트-모델 호환성을 추정하여 만족스러운 출력을 제공하면서 비용이 가장 적게 드는 모델을 선택합니다. PromptWise는 각 프롬프트에 대해 한 번의 결정을 내리는 기존 방식과 달리, 각 프롬프트에 대해 순차적인 모델 할당을 허용하는 비용 인식 밴딧 구조를 활용하여 총 서비스 비용을 절감합니다. 코드 생성 및 번역과 같은 작업에서 PromptWise는 기존 모델 선택 방법과 유사한 성능을 유지하면서 상당한 비용 절감을 달성할 수 있음을 실험적으로 입증했습니다.
