본 논문은 다중 작업 예측(Multi-task forecasting)이 시계열 예측(TSF)의 표준 접근 방식이지만, 서로 다른 시간 단계의 예측이 동일한 표현을 공유하여 최적의 표현을 사용하더라도 불가피한 오류가 발생하는 '표현력 병목 현상(Expressiveness Bottleneck)'을 겪는다는 점을 지적합니다. 이 문제를 해결하기 위해, 논문에서는 두 단계 프레임워크를 제안합니다. 첫째, 한 단계 앞 예측을 위한 기반 모델을 사전 훈련하고, 둘째, 단계별 LoRA 모듈을 사용하여 이를 적응시킵니다. 이 설계를 통해 기반 모델은 표현력 병목 현상을 피하면서 임의의 예측 단계 수를 처리할 수 있습니다. 또한, 단계 간 상호 의존성을 활용하여 효율성과 예측 성능을 향상시키기 위해 적응적으로 가중치가 부여된 LoRA 전문가를 사용하는 Mixture-of-LoRA (MoLA) 모델을 도입합니다. 실험 결과, MoLA는 모델의 표현력을 크게 향상시키고 최첨단 시계열 예측 방법보다 우수한 성능을 보임을 보여줍니다. 코드는 https://anonymous.4open.science/r/MoLA-BC92 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
다중 작업 시계열 예측의 표현력 병목 현상 문제를 명확히 제시하고 해결 방안을 제시함.
◦
단계별 LoRA 모듈과 MoLA 모델을 통해 기존 방법보다 향상된 예측 성능과 효율성을 달성함.
