본 논문은 sequence-level 제약 조건(예: 구문, 스타일 또는 안전)에 따라 텍스트를 생성하는 제어된 언어 생성에 대해 다룹니다. 특히, 미래 토큰에 의존하는 제약 조건을 처리하기 위해, 저자들은 풍부한 접두사 인코딩을 위한 기본 언어 모델과 정확한 연속 확률을 계산하는 고정된 추적 가능한 대리 모델을 결합하는 하이브리드 접근 방식인 Learning to Look Ahead (LTLA)를 제안합니다. LTLA는 단일 배치 HMM 업데이트와 대리 모델의 잠재 상태 prior에만 LM의 hidden representation을 조건화하여 효율성을 높입니다.
