본 논문은 흉부 X선 이미지로부터 방사선과 보고서를 자동 생성하는 다중 모달 연합 학습 프레임워크를 제안합니다. 중앙 집중식 접근 방식의 개인 정보 보호 문제점을 해결하기 위해, IU-Xray 데이터셋을 사용하여 Vision Transformer (ViT)를 인코더로, GPT-2를 보고서 생성기로 활용하는 분산 학습 시스템을 구축했습니다. FedAvg, Krum Aggregation, 그리고 새로운 Loss-aware Federated Averaging (L-FedAvg) 세 가지 연합 학습(FL) 집계 전략을 평가한 결과, Krum Aggregation이 ROUGE, BLEU, BERTScore, RaTEScore와 같은 어휘 및 의미 평가 지표에서 우수한 성능을 보였습니다. 연합 학습을 통해 중앙 집중식 모델과 동등하거나 그 이상의 임상적으로 관련성 있고 의미가 풍부한 방사선과 보고서를 생성할 수 있음을 보여줍니다. 이 경량의 개인 정보 보호 프레임워크는 데이터 기밀성을 침해하지 않고 협업적인 의료 AI 개발의 길을 열어줍니다.
