본 연구는 대규모 언어 모델(LLM)이 입학, 비자, 장학금 및 자격 요건과 관련된 유학 관련 질문에 얼마나 신뢰할 수 있게 답변하는지, 그리고 답변이 근거 없는 주장(``환각'')으로 얼마나 자주 이어지는지 명확히 밝히는 것을 목표로 한다. ApplyBoard의 자문 워크플로우에서 추출한 실제 질문을 사용하여, 정확성(정보가 정확하고 완전한지)과 환각(모델이 질문이나 도메인 증거에 의해 지원되지 않는 내용을 추가하는지)을 평가한다. 답변은 정확, 부분적, 또는 잘못됨의 간단한 루브릭을 사용하여 평가하며, 도메인 범위를 고려하여 부분적인 답변과 관련 없는 내용도 점수에 반영한다. 모델의 신뢰성과 답변 관련성을 측정하고, 종합적인 환각 점수를 보고하여 관련성과 유용성을 평가한다. 연구의 목표는 유학 자문에 가장 적합한 모델을 파악하고, 흔한 실패 패턴을 파악하며, 교육 및 자문 분야에 LLM을 배포하기 전에 사용할 수 있는 실용적인 프로토콜을 제공하는 것이다.
