本論文は、主観的または困難な注釈作業における信頼性の向上のために、絶対格付けまたは配列分類よりも対対比較を好む傾向を扱う。既存のすべてのペア比較には多くの注釈（O（n ^ 2））が必要ですが、最近の研究では、ソートアルゴリズムを使用して双対比較を積極的にサンプリングすることによって注釈の負担を大幅に減らしました（O（n log n））。この論文では、（1）トレーニングなしで階層的にコントラスティブ言語画像処理（CLIP）モデルを使用して項目をおおよそ事前ソートし、（2）簡単で明白な人の比較を自動比較に置き換えることで、注釈効率をさらに向上させます。提案されたEZ-Sortは最初にCLIPベースのゼロショットプリアライメントを作成し、次にバケット認識Eloスコアを初期化し、最後に不確実性ベースの人間参加MergeSortを実行します。 FGNET（顔の年齢推定）、DHCI（歴史的画像年代記）、EyePACS（網膜画像品質評価）など、さまざまなデータセットを使用して検証を行いました。その結果、EZ-Sortは、完全な双対比較と比較して90.5％、従来の研究と比較して19.8％（n = 100の場合）の人間の注釈コストを削減しながら、評価者間の信頼性を維持または向上させました。これらの結果は、CLIPベースの辞書情報と不確実性認識サンプリングを組み合わせることで、効率的でスケーラブルな双対ランク付けソリューションを得ることができることを示しています。
