본 논문은 지식 그래프 임베딩(KGE) 모델의 평가 방식에 대한 문제점을 지적하고, 대규모 데이터셋(FB-CVT-REV, FB+CVT-REV)을 사용하여 네 가지 대표적인 KGE 모델을 종합적으로 평가한 연구입니다. 기존 연구에서 사용되는 데이터셋의 크기가 작고 오류가 많으며, 중개 노드의 역할이나 도메인 간 성능 차이에 대한 고려가 부족하다는 점을 지적합니다. 또한, 폐쇄 세계 가정에 기반한 기존 평가 지표들이 모델의 실제 성능을 제대로 반영하지 못하고, 단일 지표로 평가하여 모델의 강점과 약점을 제대로 드러내지 못한다는 점을 문제 삼습니다. 본 연구는 대규모 데이터셋을 이용하여 모델 성능의 데이터셋 크기에 따른 변화, n-ary 관계를 2원 관계로 변환했을 때의 성능 과대평가, 그리고 기존 평가 방식 및 지표의 한계를 밝히고 있습니다.
