본 논문은 지식 그래프 임베딩(KGE) 모델의 평가 방식에 대한 문제점을 지적하고, 대규모 데이터셋(FB-CVT-REV, FB+CVT-REV)을 사용하여 네 가지 대표적인 KGE 모델을 종합적으로 평가한 연구입니다. 기존의 평가 방식은 폐쇄 세계 가정에 기반하여 실제 상황과 맞지 않는 부분이 있으며, 단일 지표로 평가하여 모델의 강점과 약점을 제대로 드러내지 못한다는 점을 지적합니다. 링크 예측 외에 속성 예측, 엔티티 쌍 순위 매기기, 트리플 분류 등의 대안적인 평가 방식이 있지만, 이들은 충분히 활용되지 않고 있습니다. 또한, 기존 데이터셋의 오류 및 규모의 한계, 중개 노드의 역할, 도메인 간 성능 차이 등이 고려되지 않고 있다는 점을 문제 삼습니다. 본 연구는 이러한 문제점들을 해결하기 위해 대규모 데이터셋을 활용하여 KGE 모델을 평가하고, 데이터셋 크기, n-ary 관계의 이진화, 평가 프로토콜 및 지표의 한계 등에 대한 중요한 통찰력을 제공합니다.
