본 논문은 대규모 언어 모델(LLM)의 불일치성 및 오류 생성 문제를 해결하기 위해, 도메인 지식을 통합하여 모델의 출력을 검증하는 새로운 프레임워크 RvLLM을 제안합니다. RvLLM은 도메인 전문가가 쉽게 사용할 수 있는 경량의 명세 언어 ESL을 사용하여 도메인별 제약 조건을 정의하고, 런타임에 LLM의 출력을 검증합니다. 싱가포르 지하철 시스템 관련 법률 위반 감지, 수치 비교, 부등식 문제 해결 등 세 가지 대표적인 작업에 대한 실험을 통해 RvLLM의 효과를 입증합니다.