TREC Deep Learning track의 4년차 결과를 보고하는 논문입니다. MS MARCO 데이터셋을 활용하여 passage ranking과 document ranking task를 수행하였으며, 데이터셋의 크기가 이전보다 훨씬 증가(passage: 16배, document: 4배)했습니다. 2022년에는 passage retrieval task에 집중하여 더욱 완성도 높은 테스트 컬렉션을 구축하였고, document ranking task는 passage-level label을 기반으로 추론하였습니다. 대규모 사전 학습을 활용한 심층 신경망 기반 ranking 모델이 기존 방법들을 능가하는 결과를 보였습니다. passage judging에 자원을 집중함으로써 query와 judgment의 질이 향상되었고, 향후 데이터셋 재사용에 대한 신뢰도가 높아졌습니다. 흥미롭게도, 일부 상위권 모델은 dense retrieval을 사용하지 않았고, 단일 단계 dense retrieval 모델은 전년도에 비해 경쟁력이 떨어졌습니다.
