Query-to-bidword(입찰 키워드) 재작성은 스폰서 검색의 핵심이며, 잡음이 있는 사용자 쿼리를 의미적으로 관련성이 높고 상업적으로 가치 있는 키워드로 변환합니다. 대규모 언어 모델(LLM)의 최근 발전은 생성 검색 프레임워크를 통해 의미적 관련성을 향상시켰지만, 키워드의 상업적 가치를 거의 인코딩하지 않습니다. 따라서 재작성은 종종 의미적으로 정확하지만 경제적으로 최적화되지 않아, 지도 미세 조정(SFT) 후 인간 피드백으로부터의 강화 학습(RLHF) 단계를 추가하여 이러한 결함을 완화합니다. 그러나 기존의 선호도 정렬은 입찰 키워드 값의 순서를 과도하게 강조하고 과적합에 취약하여 재작성 품질을 저하시킵니다. 또한 입찰 키워드 값은 빠르게 변동하지만 기존 생성 방식은 이러한 변동에 대응하지 못합니다. 이러한 단점을 해결하기 위해, VALUE(가중 트리(wEighted trie)를 통한 쿼리 재작성을 위한 가치 인식 대규모 언어 모델)를 도입하여 가치 인식을 생성에 직접 통합하고 훈련 중 가치 정렬을 강화합니다. VALUE는 각 토큰에 대한 실시간 가치 신호를 저장하는 고전적인 트리의 새로운 변형인 가중 트리를 사용합니다. 디코딩하는 동안 프레임워크는 이러한 신호로 LLM의 토큰 확률을 조정하여 검색 공간을 제한하고 고가치 재작성으로 생성 방향을 안내합니다. 정렬 단계에서는 안정적인 고가치 차이를 강조하고 잡음 또는 일시적인 변동을 줄이는 세분화된 선호도 학습 전략을 사용하여 견고성을 개선하고 과적합을 줄입니다. 오프라인 실험 결과 VALUE가 의미적 일치 및 가치 중심 메트릭 모두에서 기준선을 크게 능가했습니다. VALUE는 2024년 10월부터 자사 광고 시스템에 배포되어 중국 최대 쇼핑 축제인 Double Eleven 프로모션을 지원했습니다.
