본 논문은 뇌 CT 보고서 자동 생성을 위한 새로운 방법인 Medical Entity-balanced Prompting Network (MEPNet)을 제안합니다. 기존 방법들이 뇌 CT 스캔의 다양하고 불규칙적인 공간 패턴으로 인해 의료 개체 학습에 편향이 발생하여 보고서의 반복성과 부정확성이 나타나는 문제점을 해결하고자 합니다. MEPNet은 대규모 언어 모델(LLM)을 활용하여 다양한 의료 개체를 균형 있게 해석하고 정확한 보고서를 생성합니다. 의료 개체의 시각적 임베딩과 학습 상태를 풍부한 단서로 활용하여 LLM이 다양한 개체의 학습을 균형 있게 수행하도록 유도합니다. 구체적으로, 지식 기반 공동 주의 메커니즘을 통해 의료 개체의 시각적 임베딩을 추출하고, 학습 상태 평가기를 통해 개별 의료 개체의 학습 상태를 평가합니다. 마지막으로, 이러한 정보를 다중 모달 프롬프트에 통합하여 LLM의 텍스트 생성을 안내합니다. 두 개의 뇌 CT 보고서 생성 벤치마크에서 실험을 수행하여 임상 정확도와 텍스트 일관성을 향상시키는 효과를 보였습니다.
