본 연구는 다중 모드 데이터 회귀에서 특징 추출 문제를 해결하는 데 초점을 맞추고 있습니다. 제한적이고 비-IID 데이터, 다중 모드 정보의 효과적인 추출 및 융합, 그리고 모델 학습 중의 파괴적 망각에 취약하다는 세 가지 주요 과제를 해결하기 위해, 작업 기반의 감독형 다중 모드 연합 특징 추출 방법을 제안합니다. 이 방법은 다중 모드 정보 추출과 대조 학습 메커니즘을 통합하며, 각 모드의 데이터에 대한 잠재적 매핑 함수로서 다양한 신경망 구조에 적응할 수 있습니다. 각 클라이언트가 다중 모드 데이터의 저차원 표현을 독립적으로 학습하도록 지원하며, 파라미터 조정을 통해 예측 변수 내에서 응답 변수에 대한 유효한 정보의 보존 정도를 유연하게 제어할 수 있습니다. 평균 제곱 오차 손실을 사용하여 회귀 정확도를 보장하는 다중 제약 학습 프레임워크를 구축했습니다. 상호 정보 보존 제약, 대칭 쿨백-라이블러 발산 제약, 그리고 모델 간 대조 제약의 시너지 효과를 통해, 작업 관련 정보의 보존, 다중 모드 특징의 추출, 융합, 정렬, 그리고 비-IID 시나리오에서 표현 드리프트 및 파괴적 망각의 완화를 달성합니다. 제안된 방법은 시뮬레이션 및 실제 데이터 분석을 통해 고전적인 특징 추출 기술에 비해 다운스트림 회귀 작업에서 더 значительный 성능 향상을 달성했습니다.
