광고주의 광고 성과 개선을 위한 자동 입찰은 중요한 도구이며, 오프라인 데이터로부터 조건부 생성적 플래너를 학습하는 AI 기반 입찰(AIGB)이 기존 오프라인 강화 학습(RL) 기반 자동 입찰 방식보다 우수한 성능을 보였다. 그러나 기존 AIGB 방식은 정적 오프라인 데이터셋의 한계를 극복하지 못해 성능 병목 현상에 직면해 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 생성적 계획과 정책 최적화를 통합하는 새로운 방법인 AIGB-Pearl(Planning with Evaluator via RL)을 제안한다. AIGB-Pearl의 핵심은 생성 품질을 평가하는 궤적 평가기를 구축하고, 안전하고 효율적인 오프라인 데이터셋 외 일반화를 보장하기 위해 증명 가능한 KL-Lipschitz 제약 점수 최대화 방식을 설계하는 것이다. 또한, 제안된 방식을 위한 모델 규칙성을 보장하기 위해 동기식 결합 기술을 통합한 실용적인 알고리즘을 개발했다. 시뮬레이션 및 실제 광고 시스템에 대한 광범위한 실험을 통해 제안된 방식의 최첨단 성능을 입증했다.
시사점, 한계점
•
시사점:
◦
AIGB-Pearl은 생성적 계획과 정책 최적화를 통합하여, 기존 AIGB 방식의 정적 데이터셋 한계를 극복하고 성능을 향상시켰다.
◦
KL-Lipschitz 제약 점수 최대화 방식을 통해 오프라인 데이터셋 외 안전하고 효율적인 일반화를 보장한다.
◦
동기식 결합 기술을 통해 모델 규칙성을 확보하여 제안된 방식의 실용성을 높였다.
◦
시뮬레이션 및 실제 광고 시스템 실험을 통해 state-of-the-art 성능을 입증했다.
