AFAS는 고객 충성도를 높이기 위해 LLM을 활용하여 고객 문의에 응답하는 것을 목표로 한다. 본 연구는 네덜란드어로 된 응답의 정확성을 정의하고, 제한된 데이터로 LLM이 생성한 답변의 정확성을 실시간으로 평가하는 것을 목표로 한다. AFAS 지원팀의 의사 결정을 기반으로 응답의 정확성을 정의하고, 자연어 생성 및 자동 답변 평가 시스템에 대한 문헌을 활용하여 지원팀의 의사 결정을 자동화했다. 이진 응답 또는 지침을 요구하는 질문을 조사하여 자동화된 접근 방식이 지원 평가에 얼마나 근접하는지 테스트했다. 우리의 접근 방식은 55%의 경우에서 잘못된 메시지를 식별할 수 있었다.
