본 연구는 서로 다른 환자 건강 측면을 강조하는 보완적인 양식을 통합하는 다중 양식(MM) 학습이 생물의학 인공 지능(AI) 응용 분야에서 유망한 패러다임으로 부상하고 있음을 다룬다. 특히, 피부 병변 데이터 세트는 일반적으로 조건에 대한 최소한의 메타데이터와 연결된 이미지만 포함하여, 신뢰할 수 있고 일반화 가능한 예측을 위한 MM 데이터 통합의 이점을 제한한다. 최근 LLM(Large Language Models)의 발전은 이미지 소견에 대한 텍스트 설명을 합성할 수 있게 해주어 이미지와 텍스트 표현을 결합할 수 있게 한다. 본 연구는 프롬프트 설계 및 의학 메타데이터 포함 측면에서 합성 텍스트 임상 노트 생성 전략을 조사하고, 분류 및 상호 양식 검색 작업에서 MM 아키텍처의 성능 향상에 미치는 영향을 평가한다.
