본 논문은 기존의 데이터셋 난이도 측정 방식의 한계를 지적하며, 모델의 성능과 인간의 성능 간 차이만을 고려하는 대신, 모델 관점에서 데이터셋의 정보 활용 가능성을 측정하는 새로운 프레임워크를 제시합니다. 특히, 모델 $\mathcal{V}$에 대한 $\mathcal{V}$-usable information 개념을 도입하여 데이터셋 전체의 난이도를 측정하고, pointwise $\mathcal{V}$-information (PVI)을 통해 개별 인스턴스의 난이도를 측정합니다. 이를 통해 기존 방식과 달리, 동일한 모델에 대한 다양한 데이터셋 비교 및 동일 데이터셋 내 개별 인스턴스/슬라이스 비교가 가능하며, 입력 변환을 통한 해석성 확보를 통해 데이터셋의 특징 및 어노테이션 아티팩트를 발견할 수 있습니다.
