본 논문은 주식 수익률 예측 및 종목 선택을 위해 계량적 팩터와 LLM 기반 뉴스 흐름을 활용하는 효과적인 방법을 연구한다. 팩터와 뉴스 흐름 표현을 융합하는 융합 학습 프레임워크를 제시하고, 세 가지 융합 방법(표현 결합, 표현 합산, 주의 기반 표현)을 비교한다. 또한, 융합 학습에서 얻은 경험적 관찰을 바탕으로 단일 모달리티와 융합 예측을 적응적으로 결합하는 혼합 모델을 탐구하며, 혼합 모델의 학습 불안정성을 완화하기 위한 분리된 학습 접근 방식을 제안한다. 실제 투자 환경에서의 실험을 통해 팩터와 뉴스를 효과적으로 활용하는 다중 모달 모델링에 대한 통찰력을 제공한다.
