Reliable Evaluation Protocol for Low-Precision Retrieval
Created by
- Haebom
Category
Empty
μ μ
Kisu Yang, Yoonna Jang, Hwanseok Jang, Kenneth Choi, Isabelle Augenstein, Heuiseok Lim
π‘ κ°μ
μ΄ λ
Όλ¬Έμ κ²μ μμ€ν
μ ν¨μ¨μ±μ λμ΄κΈ° μν΄ μ¬μ©λλ μ μ λ°λ μ°μ°μ΄ κ²°κ³Όμ λΆνμ€μ±μ μΌκΈ°νμ¬ νκ°μ μ λ’°λλ₯Ό μ νμν€λ λ¬Έμ λ₯Ό λ€λ£Ήλλ€. μ΄λ₯Ό ν΄κ²°νκΈ° μν΄, μ μλ μ΅μ’
μ μ κ³μ° λ¨κ³μμ μ λ°λλ₯Ό λμ΄λ 'κ³ μ λ°λ μ μ κ³μ°(HPS)'κ³Ό μ μ λ²μ λ° νΈν₯μ κ³ λ €νμ¬ μμ λΆνμ€μ±μ μ λννλ 'νμ΄ μΈμ κ²μ μ§ν(TRM)'λ₯Ό ν¬ν¨νλ μλ‘μ΄ νκ° νλ‘ν μ½μ μ μν©λλ€. μ€νμ ν΅ν΄ μ μλ νλ‘ν μ½μ΄ μ μ λ°λ κ²μμ νκ° μμ μ±κ³Ό μ νμ±μ ν¬κ² ν₯μμν΄μ μ
μ¦ν©λλ€.
π μμ¬μ λ° νκ³
β’
μ μ λ°λ κ²μμμ λ°μνλ μμ κ²°μ μ λΆνμ€μ±μ ν¨κ³Όμ μΌλ‘ μννμ¬ νκ°μ μ λ’°μ±μ λμ
λλ€.
β’
κ³ μ λ°λ μ μ κ³μ°(HPS)μ μ΅μνμ μ°μ° λΉμ©μΌλ‘ μμ κ²°μ μ λΆμμ μ±μ μ€μ¬μ€λλ€.
β’
νμ΄ μΈμ κ²μ μ§ν(TRM)λ μ μ λ²μμ νΈν₯μ ν΅ν΄ μμ λΆνμ€μ±μ μ λννμ¬ λ³΄λ€ ν¬κ΄μ μΈ νκ°λ₯Ό κ°λ₯νκ² ν©λλ€.
β’
μ μλ λ°©λ²λ‘ μ΄ λ€μν κ²μ λͺ¨λΈκ³Ό λ°μ΄ν°μ
μ μ μ© κ°λ₯ν¨μ μ€νμ μΌλ‘ 보μ¬μ€λλ€.
β’
ν₯ν μ°κ΅¬μμλ λ 볡μ‘ν λͺ¨λΈ ꡬ쑰λ μ€μ μλΉμ€ νκ²½μμμ μ μ© κ°λ₯μ±μ νμν μ μμ΅λλ€.
