본 논문은 실시간 정보 추천(Just-in-time Information Recommendation, JIR) 시스템을 위한 최초의 수학적 정의와 평가 프레임워크를 제시한다. 웨어러블 기기의 발전과 기초 모델의 효율적인 배포로 항상 작동하는 JIR 어시스턴트가 가능해졌지만, JIR 과제의 공식적인 정의와 평가 체계가 부족했다. 이를 해결하기 위해 본 논문은 JIR 과제의 수학적 정의와 평가 지표를 제시하고, 다양한 정보 요청 시나리오를 포함하는 다중 모달 벤치마크 데이터셋 JIR-Arena를 소개한다. JIR-Arena는 사용자의 정보 요구를 정확하게 추론하고, 시기적절하고 관련성 있는 추천을 제공하며, 무관한 콘텐츠를 피하는 것을 평가한다. 사용자 정보 요구의 주관성과 시스템 변수의 불확실성을 해결하기 위해, JIR-Arena는 다수의 사람과 대규모 AI 모델의 입력을 결합하여 정보 요구 분포를 근사하고, 정적 지식 기반 스냅샷을 사용하여 정보 검색 결과를 통해 JIR 품질을 평가하며, 다회차 다개체 검증 프레임워크를 사용하여 객관성과 일반성을 향상시킨다. 또한, 실시간 정보 스트림을 처리할 수 있는 기준 JIR 시스템을 구현하고, JIR-Arena에서 이 시스템을 평가하여 기초 모델 기반 JIR 시스템이 사용자 요구를 상당한 정확도로 시뮬레이션하지만 재현율과 효과적인 콘텐츠 검색에 어려움을 겪는다는 것을 보여준다. 마지막으로 코드와 데이터를 공개하여 향후 연구를 지원한다.
