Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SzCORE as a benchmark: report from the seizure detection challenge at the 2025 AI in Epilepsy and Neurological Disorders Conference

Created by
  • Haebom

저자

Jonathan Dan, Amirhossein Shahbazinia, Christodoulos Kechris, David Atienza

개요

본 논문은 장기간 EEG 데이터를 이용한 자동 발작 감지의 어려움을 해결하고자 65명의 환자(4,360시간)를 대상으로 한 대규모 챌린지를 개최한 결과를 보고합니다. 전문가에 의해 주석이 달린 데이터를 사용하여, 참가자들은 발작 시작 및 지속 시간을 감지하는 알고리즘을 제출하였고, 민감도, 정밀도, F1-점수, 일일 허위 양성 등의 지표를 기반으로 평가되었습니다. 챌린지에는 19개 팀의 30개 알고리즘이 제출되었으며, 최고 F1-점수는 43% (민감도 37%, 정밀도 45%)로 나타나 자동 발작 감지의 어려움을 보여주었습니다. 기존 챌린지 및 상용 시스템과 비교하여 본 챌린지의 최고 성능 알고리즘은 성능 향상을 보였으며, SzCORE 프레임워크를 통한 지속적인 벤치마킹 지원으로 재현 가능한 연구 및 새로운 데이터셋 통합을 가능하게 하였습니다.

시사점, 한계점

시사점:
대규모 데이터셋을 활용한 표준화된 평가 프레임워크(SzCORE)를 통한 객관적인 알고리즘 성능 비교 가능.
기존 챌린지 및 상용 시스템 대비 성능 향상된 알고리즘 발견.
지속적인 벤치마킹을 통한 재현 가능한 연구 및 새로운 데이터셋 통합 가능.
임상 환경에서 발작 감지 알고리즘의 실제 성능 평가의 중요성 강조.
한계점:
최고 알고리즘의 F1-점수가 43%로 여전히 낮은 성능. 발작 감지의 어려움 지속.
보고된 성능과 실제 평가 간의 차이 존재. 더욱 엄격한 벤치마킹 필요성 제기.
참가 알고리즘의 다양성 및 일반화 성능에 대한 자세한 분석 부족.
👍