Sign In

Multimodal Learning with Augmentation Techniques for Natural Disaster Assessment

Created by
  • Haebom
Category
Empty

저자

Adrian-Dinu Urse, Dumitru-Clementin Cercel, Florin Pop

개요

본 논문은 사회적 미디어를 재난 평가의 실시간 정보원으로 활용하는 데 있어, 기존 데이터셋의 클래스 불균형과 제한된 샘플 문제를 해결하기 위한 증강 기법을 탐구한다. 특히, CrisisMMD 다중 모달 데이터셋에 대해 시각 데이터에는 Real Guidance 및 DiffuseMix와 같은 확산 기반 방법을, 텍스트 데이터에는 역번역, 변환기를 이용한 의역, 이미지 캡션 기반 증강을 적용했다. 단일 모달, 다중 모달, 다중 뷰 학습 환경에서 이러한 증강 기법의 효과를 평가했으며, 특히 소수 클래스에 대한 분류 성능 향상을 확인했다.

시사점, 한계점

선택된 증강 기법은 분류 성능을 향상시키는 데 효과적이며, 특히 소외된 클래스에 유용하다.
다중 뷰 학습은 잠재력이 있지만 추가적인 개선이 필요하다.
본 연구는 보다 강력한 재난 평가 시스템 구축을 위한 효과적인 증강 전략을 제시한다.
연구는 CrisisMMD 데이터셋에 국한되어 있으며, 다른 데이터셋에 대한 일반화 가능성은 추가 연구가 필요하다.
다중 뷰 학습의 구체적인 개선 방안에 대한 추가적인 설명이 필요하다.
👍