본 논문은 대규모 언어 모델(LLM)을 이용하여 심혈관계 사건의 자동 심사를 위한 새로운 프레임워크를 제시합니다. 기존의 수동 심사 방식의 시간 소모, 자원 낭비, 심사자 간의 차이로 인한 편향성 문제를 해결하기 위해, LLM 기반의 두 단계 접근 방식을 제안합니다. 첫 번째 단계는 비정형 임상 데이터에서 사건 정보를 추출하고, 두 번째 단계는 Tree of Thoughts 접근 방식과 임상 종점 위원회(CEC) 지침에 따라 LLM 기반 심사 프로세스를 수행합니다. 심혈관계 사건 관련 임상 시험 데이터를 사용하여, 사건 추출에 대해 F1 점수 0.82, 심사에 대해 정확도 0.68을 달성했습니다. 또한, 심혈관계 사건 심사에서 AI가 생성한 임상 추론의 질을 평가하기 위해 새로운 자동화된 지표인 CLEART 점수를 제안합니다. 이 접근 방식은 임상 시험에서 심사 시간과 비용을 크게 줄이면서 높은 품질, 일관성, 감사 가능한 결과를 유지할 수 있는 잠재력을 보여줍니다. 변동성 감소 및 표준화 향상을 통해 심혈관 치료와 관련된 위험을 더 빠르게 식별하고 완화할 수 있습니다.
