본 논문은 의료 영상 및 임상 정보를 통합하는 다중 모달 의료 지식 그래프 MEDMKG를 제안합니다. MIMIC-CXR의 다중 모달 데이터와 UMLS의 구조화된 임상 지식을 규칙 기반 도구와 대규모 언어 모델을 사용하여 통합하는 다단계 구축 파이프라인을 통해 구축됩니다. 다중 모달 지식 그래프에 맞춤화된 새로운 필터링 알고리즘인 Neighbor-aware Filtering (NaF)을 도입하여 그래프의 질과 압축성을 향상시켰습니다. 여러 가지 기준 방법과 최첨단 비전-언어 백본 모델을 사용하여 세 가지 작업에 걸쳐 MEDMKG를 평가한 결과, 하위 의료 작업의 성능을 향상시키고 의료 인공 지능에서 다중 모달 지식 통합을 위한 적응적이고 강력한 전략 개발을 위한 기반을 제공함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다중 모달 의료 지식 그래프 MEDMKG를 통해 의료 영상과 임상 정보를 효과적으로 통합하여 의료 인공지능 성능 향상 가능성 제시.
◦
새로운 필터링 알고리즘 NaF를 통해 다중 모달 지식 그래프의 질과 압축성 개선.
◦
다양한 기준 방법 및 최첨단 모델과의 비교 실험을 통해 MEDMKG의 우수성 검증.
◦
의료 인공지능 분야에서 다중 모달 지식 통합 전략 개발에 대한 새로운 방향 제시.
•
한계점:
◦
MEDMKG의 구축 과정에 사용된 데이터셋(MIMIC-CXR, UMLS)의 한계가 MEDMKG의 성능에 영향을 줄 수 있음.
◦
NaF 알고리즘의 일반화 성능 및 다른 다중 모달 지식 그래프에 대한 적용 가능성에 대한 추가 연구 필요.
◦
평가에 사용된 작업 및 데이터셋의 다양성이 제한적일 수 있음. 다른 의료 영역 및 작업에 대한 추가적인 실험이 필요.
