Leveraging Hierarchical Organization for Medical Multi-document Summarization
Created by
- Haebom
Category
Empty
저자
Yi-Li Hsu, Katelyn X. Mei, Lucy Lu Wang
개요
의료 멀티 문서 요약(MDS)은 문서 간 관계를 효과적으로 관리해야 하는 복잡한 작업입니다. 본 논문은 MDS의 입력에 계층적 구조를 통합하는 것이 기존의 평면 요약 방법보다 모델의 문서 간 정보 구성 및 문맥화 능력을 향상시킬 수 있는지 연구합니다. 세 가지 대규모 언어 모델(LLM)에 걸쳐 계층적 구성을 통합하는 두 가지 방법을 조사하고, 자동 지표, 모델 기반 지표, 선호도, 이해도, 명확성, 복잡성, 관련성, 범위, 사실성, 일관성에 대한 도메인 전문가 평가를 사용하여 생성된 요약을 종합적으로 평가합니다. 연구 결과, 인간 전문가는 인간이 작성한 요약보다 모델이 생성한 요약을 선호하는 것으로 나타났습니다. 계층적 접근 방식은 일반적으로 정보의 사실성, 범위, 일관성을 유지하면서 요약에 대한 인간의 선호도를 높입니다. 또한, GPT-4의 시뮬레이션된 판단이 인간의 판단과 일치하는지 조사하여, 더 객관적인 평가 측면에서 더 높은 일치도를 발견했습니다. 본 연구는 계층적 구조가 모델이 생성한 의료 요약의 명확성을 향상시키면서 내용 범위를 유지하여, 생성된 요약에 대한 인간의 선호도를 개선하는 실질적인 방법을 제시함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
계층적 구조를 MDS 모델에 통합하면 요약의 명확성을 향상시킬 수 있습니다.
◦
계층적 접근 방식은 내용 범위, 사실성 및 일관성을 유지합니다.
◦
모델이 생성한 요약은 인간 전문가의 선호도를 얻습니다.
◦
GPT-4의 시뮬레이션된 판단은 인간의 판단과 어느 정도 일치합니다.
•
한계점:
◦
구체적인 한계점은 논문에 명시되어 있지 않습니다.
