소비자 등급 기기로 캡처한 비디오를 기반으로 어깨 질환을 진단하기 위해 멀티모달 대형 언어 모델(MLLM)을 활용하는 하이브리드 모션 비디오 진단 프레임워크(HMVDx)를 제안합니다. 이 프레임워크는 동작 이해와 질병 진단이라는 두 가지 작업을 별도의 MLLM으로 수행하며, 최종 진단까지 이어지는 의료 의사 결정 과정을 고려한 사용성 지표를 통해 MLLM의 효과를 평가합니다. HMVDx는 어깨 관절 부상 진단 정확도를 기존 방식보다 79.6% 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
저비용, 확장 가능한 진단 솔루션 개발을 통해 의료 자원이 부족한 지역의 문제 해결에 기여.
◦
MLLM을 활용하여 의료 영상 이해 분야의 연구를 발전시키고, 특히 어깨 질환 진단 정확도를 향상시킴.
◦
의료 의사 결정 과정을 반영한 새로운 평가 지표(사용성 지표)를 제시하여 MLLM의 의료 분야 적용 가능성을 평가.
•
한계점:
◦
구체적인 MLLM 모델명, 훈련 데이터, 프레임워크의 세부 구현 방식 등에 대한 정보가 부족함.
