대규모 언어 모델(LLM)이 생성한 텍스트 응답의 의미적 유사성을 평가하는 데 사용되는 기존 방법의 한계를 지적하고, 이를 해결하기 위해 지식 그래프(KG)를 활용하여 의미적으로 유사하거나 다른 문장 쌍을 생성하는 새로운 벤치마크 생성 방법을 제안합니다. 일반 지식, 생물의학, 금융, 생물학 등 4가지 도메인에서 벤치마크 데이터세트를 생성하고, 다양한 의미적 유사성 방법을 비교 연구합니다. 연구 결과는 의미적 변화의 하위 유형과 벤치마크 도메인이 의미적 유사성 방법의 성능에 영향을 미치며, 특정 방법이 일관되게 우수하지 않음을 보여줍니다.
