본 논문은 인간 활동 인식(HAR)에서 나타나는 레이블된 샘플 부족, 고차원 특징 추출의 어려움, 경량 장치에서의 성능 저하 등의 문제점을 해결하기 위해, 다중 어텐션 상호작용 메커니즘을 중심으로 하는 포괄적인 최적화 방법을 제시한다. 먼저, 비지도 학습 기반의 확산 모델을 이용하여 데이터 증강을 수행하고, 다중 분기 시공간 상호작용 네트워크를 설계하여 다중 스케일 특징을 추출한다. 여기에는 시간적 어텐션과 공간적 어텐션 메커니즘이 통합되어 있으며, 분기 간 특징 융합 유닛을 통해 특징 표현 능력을 향상시킨다. 마지막으로, 적응형 다중 손실 함수 융합 전략을 통해 손실 가중치를 동적으로 조정하고 모델을 최적화한다. WISDM, PAMAP2, OPPORTUNITY 세 개의 공개 데이터셋에서 기존 방법보다 우수한 성능을 보이며, 임베디드 장치에서의 실제 배포를 통해 효율성과 실현 가능성을 검증한다.