본 논문은 대규모 언어 모델(LLM)의 신뢰성 향상을 위해 도메인 특정 지식을 통합한 오류 검출 방법을 제시합니다. LLM이 불일치하거나 잘못된 출력을 생성하는 경향이 있기 때문에, 특히 정확성과 신뢰성이 요구되는 고위험 영역에서는 신뢰성이 문제가 됩니다. 이를 해결하기 위해, 도메인 전문가가 가볍고 직관적인 방식으로 도메인 특정 조건을 사용자 정의할 수 있는 일반적인 사양 언어(ESL)를 설계하고, ESL로 정의된 도메인 특정 제약 조건에 따라 LLM 출력을 검증하는 런타임 검증 프레임워크(RvLLM)를 도입합니다. 싱가포르 급행 철도 시스템 법 위반 검출, 숫자 비교, 부등식 풀이 등 세 가지 대표적인 작업에 대해 RvLLM을 평가한 결과, 다양한 LLM에서 경량적이고 유연한 방식으로 잘못된 출력을 효과적으로 검출하는 것을 보여줍니다. LLM의 해석성 한계와 추론 과정의 공식적인 보장 부족으로 인한 저수준 오류 발생 가능성을 지적하며, 전문가의 도메인 지식을 활용하여 LLM 출력을 엄격하고 효율적으로 검증하는 잠재적인 장기 솔루션을 제시합니다.
