본 논문은 도시 이동성 최적화에 필수적인 정확한 교통량 예측이 복잡한 시공간적 의존성과 제한적인 고품질 데이터로 인해 어려움을 겪고 있다는 문제를 다룹니다. 기존의 강력한 예측 성능을 보이는 심층 그래프 기반 모델들은 높은 계산 오버헤드와 많은 훈련 데이터를 필요로 하여 자원 제약 환경이나 데이터 부족 환경에 적용하기 어렵다는 한계가 있습니다. 이에 본 논문에서는 대규모 언어 모델(LLM)로부터의 지식 증류에 기반한 경량화되고 확장 가능한 교통량 예측 프레임워크인 FlowDistill을 제안합니다. FlowDistill은 정보 병목 원리와 교사 경계 회귀 손실을 결합하여 LLM(교사 모델)이 작은 다층 퍼셉트론(MLP, 학생 모델)을 지도하는 교사-학생 설정을 사용하여 필수적이고 전이 가능한 지식만을 유지하도록 합니다. 시공간적 상관관계를 명시적으로 인코딩하여 다양한 도시 환경에서 모델의 일반화 성능을 향상시킵니다. FlowDistill은 단순함에도 불구하고, 최첨단 모델보다 예측 정확도가 높으면서 훨씬 적은 훈련 데이터, 낮은 메모리 사용량 및 추론 지연 시간을 달성하여 실제 환경에서의 확장 가능한 배포에 적합함을 보여줍니다.
