Context is Key: A Benchmark for Forecasting with Essential Textual Information
Created by
Haebom
저자
Andrew Robert Williams, Arjun Ashok, Etienne Marcotte, Valentina Zantedeschi, Jithendaraa Subramanian, Roland Riachi, James Requeima, Alexandre Lacoste, Irina Rish, Nicolas Chapados, Alexandre Drouin
개요
본 논문은 다양한 분야의 의사결정에 중요한 역할을 하는 시계열 예측에서 숫자 데이터뿐 아니라 자연어 형태의 배경 지식 및 제약 조건과 같은 추가 정보를 효과적으로 통합하는 방법을 제시합니다. 기존의 LLM 기반 예측 모델들이 텍스트 정보를 효과적으로 통합하는 데 어려움을 겪는다는 점을 지적하며, 숫자 데이터와 다양한 유형의 텍스트 정보를 짝지어 모델이 두 가지 모달리티를 모두 통합해야 하는 새로운 벤치마크 "Context is Key" (CiK)를 소개합니다. CiK에서 제시하는 모든 과제는 텍스트 정보의 이해를 통해서만 성공적으로 해결될 수 있습니다. 통계 모델, 시계열 기반 모델, LLM 기반 예측 모델 등 다양한 접근 방식을 평가한 결과, 간단하지만 효과적인 LLM 프롬프팅 기법을 제안하며, 이 기법이 벤치마크에서 다른 모든 방법을 능가함을 보여줍니다. 실험을 통해 문맥 정보 통합의 중요성과 LLM 기반 예측 모델의 놀라운 성능, 그리고 그 한계점을 제시하며, 정확성과 접근성을 모두 갖춘 모델 개발을 촉진하여 다모달 예측 분야를 발전시키는 것을 목표로 합니다.
