# ECG-Expert-QA: A Benchmark for Evaluating Medical Large Language Models in Heart Disease Diagnosis

### 저자

Xu Wang, Jiaju Kang, Puyu Han, Yubao Zhao, Qian Liu, Liwenfei He, Lingqiong Zhang, Lingyun Dai, Yongcheng Wang, Jie Tao

### 개요

ECG-Expert-QA는 심전도(ECG) 해석의 진단 능력을 평가하기 위한 포괄적인 다중 모달 데이터셋입니다. 실제 임상 ECG 데이터와 체계적으로 생성된 합성 사례를 결합하여 12가지 필수 진단 과제를 다루며, 총 47,211개의 전문가 검증 QA 쌍으로 구성됩니다.  희귀 질환 및 시간적 변화를 포함하는 복잡한 진단부터 기본적인 리듬 인식까지 다양한 임상 시나리오를 포함합니다. 주요 혁신은 다회차 대화를 지원하여 임상의-환자 또는 전문가 간 상호 작용을 모방하는 대화형 의료 AI 시스템 개발을 가능하게 합니다. 이를 통해 AI 모델의 임상적 추론, 진단 정확도 및 지식 통합에 대한 보다 현실적인 평가가 가능합니다. 엄격한 품질 관리를 통해 지식 기반 프레임워크로 구성된 ECG-Expert-QA는 언어적 및 임상적 일관성을 보장하여 AI 지원 ECG 해석 발전을 위한 고품질 자원입니다. 미세한 허혈 변화 식별 및 맥락이 풍부한 시나리오에서 복잡한 부정맥 해석과 같은 과제를 모델에 제시합니다. 연구 투명성과 협업을 장려하기 위해 데이터셋, 관련 코드 및 프롬프트는 [https://github.com/Zaozzz/ECG-Expert-QA에서](https://github.com/Zaozzz/ECG-Expert-QA%EC%97%90%EC%84%9C) 공개적으로 배포됩니다.

### 시사점, 한계점

- **시사점:**

    - 실제 임상 데이터와 합성 데이터를 결합하여 다양한 임상 시나리오를 포괄하는 대규모 ECG 데이터셋 제공.

    - 다회차 대화 지원을 통한 대화형 의료 AI 시스템 개발 및 평가 가능.

    - 엄격한 품질 관리를 통한 높은 신뢰도와 일관성 확보.

    - AI 모델의 임상적 추론, 진단 정확도, 지식 통합에 대한 현실적인 평가 가능.

    - 공개된 데이터셋, 코드 및 프롬프트를 통한 연구 투명성 및 협업 증진.

- **한계점:**

    - 합성 데이터의 현실 세계 데이터와의 차이로 인한 일반화 성능 저하 가능성.

    - 데이터셋의 균형 및 대표성에 대한 추가 검증 필요.

    - 희귀 질환에 대한 데이터 부족 가능성.

    - 다회차 대화의 복잡성으로 인한 AI 모델 개발 및 평가의 어려움.

[PDF 보기](https://arxiv.org/pdf/2502.17475)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).