Automatically Labeling Clinical Trial Outcomes: A Large-Scale Benchmark for Drug Development
Created by
- Haebom
Category
Empty
저자
Chufan Gao, Jathurshan Pradeepkumar, Trisha Das, Shivashankar Thati, Jimeng Sun
개요
본 논문은 임상시험 결과 예측 모델링 및 근거 기반 의사결정 개선을 위한 대규모 임상시험 결과(CTO) 벤치마크를 제시합니다. 약 12만 5천 건의 약물 및 생물학적 제제 시험을 포함하는 CTO는 대규모 언어 모델(LLM) 해석, 시험 단계 진행 추적, 뉴스 출처의 감정 분석, 시험 후원자의 주가 변동 및 기타 시험 관련 지표를 통합합니다. 2020년부터 2024년 사이에 수행된 임상시험 데이터셋을 수동으로 주석 처리하여 결과 라벨의 품질과 신뢰성을 높였으며, Phase 3 시험에서 94, 모든 단계에서 91의 F1 점수를 달성했습니다. 최근 임상시험에서의 성과 분석을 통해 고품질의 최신 시험 결과 라벨의 지속적인 필요성을 보여주고, CTO 지식 기반 및 주석이 달린 라벨을 공개적으로 배포합니다.
시사점, 한계점
•
시사점:
◦
대규모, 고품질 임상시험 결과 데이터의 공개적인 접근을 제공하여 임상시험 결과 예측 모델링 및 근거 기반 의사결정 연구를 촉진합니다.
◦
LLM과 같은 다양한 데이터 소스를 통합하여 임상시험 결과 예측의 정확도를 높일 수 있는 가능성을 제시합니다.
◦
지속적인 업데이트를 통해 최신 임상시험 결과를 반영하여 데이터의 시의성을 유지합니다.
◦
수동 주석 처리를 통한 고품질 데이터셋 제공으로 모델 성능 평가의 신뢰성을 향상시킵니다.
•
한계점:
◦
LLM 해석 및 뉴스 소스 감정 분석 등의 비구조적 데이터에 대한 의존도가 높아, 해석의 주관성 및 오류 가능성이 존재합니다.
◦
수동 주석 처리 데이터셋의 규모가 전체 데이터셋에 비해 상대적으로 작을 수 있습니다. (정확한 비율은 제시되지 않음)
◦
데이터셋의 지속적인 업데이트가 필요하며, 이를 위한 지속적인 자원 투입이 요구됩니다.
◦
모델 성능 평가에 사용된 표준 머신러닝 모델의 종류 및 상세 설정이 명시되지 않아, 결과 해석의 일반화 가능성에 제한이 있을 수 있습니다.
