본 논문은 대규모 데이터셋으로 사전 학습된 기초 모델이 다양한 기계 학습 분야에서 성공을 거두었지만, 특히 시계열 데이터에서 데이터 분포 불일치 문제가 심각하다는 점을 지적합니다. 이 문제를 해결하기 위해 Transformer 아키텍처 내에 도메인 인식 적응 정규화 전략을 제안합니다. 기존의 LayerNorm을 프로토타입 기반 동적 정규화 메커니즘(ProtoNorm)으로 대체하여 학습된 프로토타입이 서로 다른 데이터 분포를 캡슐화하고, 샘플-프로토타입 유사도에 따라 적절한 정규화 계층을 결정합니다. 이 메커니즘은 시계열 특성의 이질성을 효과적으로 포착하여 사전 학습된 표현을 후속 작업에 맞춥니다. 다양한 실제 시계열 벤치마크에 대한 광범위한 실험을 통해 분류 및 예측 작업 모두에서 기존 사전 학습 기법보다 성능이 훨씬 뛰어나고 사전 학습 중 분포 이동의 부정적 영향을 효과적으로 완화함을 보여줍니다. ProtoNorm을 통합하는 것은 단 한 줄의 코드를 바꾸는 것만큼 간단합니다.
시사점, 한계점
•
시사점:
◦
Transformer 기반 시계열 모델의 사전 학습 성능을 향상시키는 효과적인 새로운 정규화 기법(ProtoNorm)을 제시합니다.
◦
단순한 코드 변경으로 성능 개선을 달성하여 실용성이 높습니다.
◦
다양한 시계열 데이터셋에서 뛰어난 성능과 일반화 성능을 보여줍니다.
◦
분포 불일치 문제를 완화하여 더욱 견고하고 다양한 시계열 기초 모델 개발에 기여합니다.
•
한계점:
◦
본 논문에서 제시된 ProtoNorm의 성능 향상이 모든 종류의 시계열 데이터와 작업에 대해 일반화될 수 있는지에 대한 추가적인 연구가 필요합니다.
