Transformers vs. Recurrent Models for Estimating Forest Gross Primary Production
Created by
Haebom
Category
Empty
저자
David Montero, Miguel D. Mahecha, Francesco Martinuzzi, Cesar Aybar, Anne Klosterhalfen, Alexander Knohl, Jesus Anaya, Clemens Mosig, Sebastian Wieneke
개요
본 논문은 숲의 CO$_2$ 흡수량(총 1차 생산, GPP)의 시공간적 동역학을 모니터링하는 문제를 다룬다. Eddy Covariance (EC) 타워의 제한된 공간적 범위를 보완하기 위해, 원격 탐사 데이터를 활용한 GPP 예측 모델을 개발하고, 딥러닝(DL) 모델의 성능을 비교 분석한다. GPT-2 (Transformer 기반)와 LSTM (순환 신경망) 모델을 사용하여 다변량 입력을 통해 GPP를 예측하고, 모델 아키텍처, 컨텍스트 길이, 멀티모달 입력이 GPP 예측 성능에 미치는 영향을 분석한다.
시사점, 한계점
•
GPT-2와 LSTM 모델 모두 유사한 정확도를 보였지만, LSTM이 전반적으로 우수하고 GPT-2는 극심한 이벤트에서 강점을 보임.
•
LSTM은 GPT-2보다 훨씬 짧은 입력 창으로 유사한 정확도를 달성하여 정확성과 효율성 간의 트레이드 오프를 보여줌.
•
방사선이 주요 예측 변수이며, Sentinel-2, MODIS 지표면 온도, Sentinel-1 데이터가 기여함.
•
딥러닝 모델의 아키텍처, 컨텍스트 길이, 멀티모달 입력이 GPP 예측 성능에 영향을 미침.
•
본 연구는 특정 모델과 데이터셋에 국한될 수 있으며, 다른 환경 및 데이터셋에서의 일반화 가능성을 추가적으로 검증해야 함.
•
극심한 이벤트에서의 GPT-2의 강점과 같은 특이적인 성능 차이에 대한 추가적인 분석이 필요함.
