본 논문은 병리 이미지와 유전자 프로파일을 포함한 다중 모달 데이터 통합을 이용한 정밀 생존 예측에서 불완전한 모달리티 문제를 해결하기 위해 Distilled Prompt Learning framework (DisPro)를 제안합니다. DisPro는 두 단계의 프롬프팅을 사용하여 Large Language Models (LLMs)의 강력한 robustness를 활용하여 누락된 모달리티의 정보를 보완합니다. 첫 번째 단계인 Unimodal Prompting (UniPro)는 각 모달리티의 지식 분포를 추출하고, 두 번째 단계인 Multimodal Prompting (MultiPro)는 사용 가능한 모달리티를 LLMs의 프롬프트로 활용하여 누락된 모달리티를 추론합니다. UniPro에서 얻은 unimodal 지식은 MultiPro의 다중 모달 추론에 주입되어 누락된 모달리티의 모달리티 특유의 지식을 보완합니다. 다양한 누락 시나리오를 다루는 광범위한 실험을 통해 제안된 방법의 우수성을 보여주었습니다. 코드는 https://github.com/Innse/DisPro 에서 확인할 수 있습니다.
