결핵(TB) 진단을 위한 흉부 X선 판독의 어려움을 해결하기 위해, 다중 작업을 수행하는 다중 모달 모델 PaliGemma-CXR을 제안합니다. 이 모델은 흉부 X선 이미지를 이용하여 결핵 진단, 객체 탐지, 분할, 보고서 생성, 그리고 시각적 질문응답(VQA) 등 다양한 작업을 수행합니다. 기존의 작업별 모델 방식과 달리, 작업 간 상호 의존성을 활용하여 성능 향상을 도모하며, 다중 모달 데이터 부족, 데이터 불균형, 네거티브 트랜스퍼 등의 문제를 해결하기 위해 데이터 샘플링 기법을 적용했습니다. 실험 결과, 결핵 진단 정확도 90.32%, VQA 정확도 98.95%, 보고서 생성 BLEU 점수 41.3, 객체 탐지 및 분할 mAP 각각 19.4 및 16.0을 달성하여 다중 작업 모델의 효과를 보여주었습니다.
