본 논문은 자아 중심 비디오 데이터로부터 사용자의 부정확한 행동을 판단하는 문제를 다룬다. 미묘하고 드문 실수를 처리하기 위해 Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) 프레임워크를 제안한다. 첫 번째 단계에서는 고정된 ViViT 모델과 LoRA로 튜닝된 ViViT 모델을 사용하여 특징을 추출하고, 특징 수준의 전문가 모듈을 통해 결합한다. 두 번째 단계에서는 불균형한 클래스 문제를 완화하기 위한 재가중된 교차 엔트로피, 기울어진 분포에서 랭킹을 개선하기 위한 AUC 손실, 그리고 보정과 일반화를 향상시키기 위한 레이블 인식 손실과 선명도 인식 최소화를 사용하여 세 개의 분류기를 훈련한다. 그들의 예측은 분류 수준의 전문가 모듈을 사용하여 융합된다. 제안된 방법은 특히 드물고 모호한 실수 사례를 식별하는 데 강력한 성능을 보인다.
