MAYA는 표 형식 데이터의 특징적인 이질성을 효과적으로 처리하기 위해 설계된 인코더-디코더 기반의 트랜스포머 프레임워크입니다. 인코더는 다중 분기 어텐션(MBA) 메커니즘을 통해 병렬적인 어텐션 분기를 생성하고, 각 분기의 특징을 평균하여 이질적인 특징들을 효과적으로 융합하는 동시에 파라미터 증가를 제한합니다. 또한, 동적 일관성 가중치 제약 조건을 사용한 협업 학습을 통해 더욱 강건한 표현을 생성합니다. 디코더 단계에서는 크로스 어텐션을 활용하여 표 형식 데이터와 해당 레이블 특징을 원활하게 통합합니다. 이러한 이중 어텐션 메커니즘은 인스턴스 내 및 인스턴스 간 상호 작용을 효과적으로 포착합니다. 다양한 데이터셋에서의 실험 결과, 제안된 방법은 표 분류 및 회귀 작업에서 다른 최첨단 트랜스포머 기반 방법들보다 우수한 성능을 달성함을 보여줍니다.
