본 논문은 센서 신호를 입력으로 사용하는 인간 활동 인식을 위한 심층 학습 알고리즘을 개발했습니다. 자연어 처리 분야에서 널리 사용되는 Transformer 아키텍처 기반의 사전 훈련된 언어 모델을 구축하여 인간 활동 인식이라는 하위 작업의 성능 향상을 목표로 했습니다. 기존 Transformer를 사용하는 방법도 있지만, n차원 숫자 데이터를 선형 계층을 통해 임베딩하고, binning 기반 전처리 및 출력 계층의 선형 변환이라는 세 가지 주요 기능을 통합한 향상된 n차원 숫자 처리 Transformer를 제안합니다. 다섯 가지 다른 데이터셋에서 제안된 모델의 효과를 평가한 결과, 기존 Transformer에 비해 정확도가 10%-15% 향상되었습니다.
