본 논문은 가격, 제품 품질, 지속가능성 등 여러 상충되는 목표를 포함하는 실제 조합 최적화 문제를 다룬다. 여러 목표를 단일 목표 함수로 집계하는 계산 효율적인 방법(선형 결합 등)이 있지만, 선형 결합의 가중치를 미리 정의하는 것은 어렵다. 대안으로, 사용자에게 후보 솔루션을 비교하도록 요청하는 대화형 학습 방법이 유망하다. 주요 과제는 후보를 빠르게 생성하고, 고품질 솔루션으로 이끄는 목표 함수를 학습하고, 사용자 상호 작용을 최소화하는 것이다. 본 논문은 Constructive Preference Elicitation (CPE) 프레임워크를 기반으로 세 가지 속성(상호 작용 속도, 학습 성능, 사용자 상호 작용 수)을 개선하는 방법을 제시한다. 상호 작용 속도 향상을 위해 (완화된) 솔루션 풀을 사용하고, 학습 성능 향상을 위해 Bradley-Terry 선호도 모델의 최대 우도 추정을 채택하며, 사용자 상호 작용 수 감소를 위해 Active Learning에서 영감을 받은 앙상블 기반 획득 함수를 사용한다. PC 구성 작업과 현실적인 다중 인스턴스 라우팅 문제에 대한 실험을 통해 기존 CPE 방법보다 빠른 쿼리 선택, 적은 쿼리 수, 더 높은 품질의 조합 솔루션 생성을 보여준다.
