본 논문은 대규모 언어 모델(LLM)을 활용하여 심혈관계 질환 임상시험에서 심혈관계 사건 판정을 자동화하는 새로운 프레임워크를 제시합니다. 기존의 수동 판정 방식의 시간 소모, 자원 낭비, 판정자 간 변동성 문제를 해결하기 위해, 비정형 임상 데이터에서 사건 정보 추출을 위한 LLM 기반 파이프라인과 Tree of Thoughts 접근 방식 및 임상 종점 위원회(CEC) 가이드라인에 따라 안내되는 LLM 기반 판정 프로세스의 두 단계 접근 방식을 개발했습니다. 심혈관계 사건 특이 임상 시험 데이터를 사용하여 사건 추출에 대해 F1 점수 0.82, 판정에 대해 정확도 0.68을 달성했습니다. 또한, 심혈관계 사건 판정에서 AI가 생성한 임상 추론의 질을 평가하기 위해 특별히 고안된 새로운 자동화된 지표인 CLEART 점수를 제시합니다. 이 접근 방식은 임상 시험에서 고품질, 일관성 있고 감사 가능한 결과를 유지하면서 판정 시간과 비용을 크게 줄일 수 있는 잠재력을 보여줍니다. 변동성 감소 및 표준화 향상을 통해 심혈관 치료와 관련된 위험을 더 빠르게 식별하고 완화할 수 있습니다.
