# Representation Before Training: A Fixed-Budget Benchmark for Generative Medical Event Models

### 저자

Inhyeok Lee, Luke Solo, Michael C. Burkhart, Bashar Ramadan, William F. Parker, Brett K. Beaulieu-Jones

### 💡 개요

본 연구는 생성 의료 이벤트 모델의 성능이 입력 표현 방식에 크게 좌우됨을 지적하며, 고정된 사전 학습 예산 하에서 다양한 입력 표현 방식의 효과를 벤치마킹합니다. 28개의 매칭된 트랜스포머 모델을 MIMIC-IV 데이터셋에 대해 1 epoch 사전 학습 후 30가지 임상 결과에 대한 예측 성능을 평가했습니다. 실험 결과, 코드-값 융합 토큰화가 사망률 및 병원 체류 기간 예측 AUROC를 유의미하게 향상시켰으며, 이벤트 순서 또는 admission-relative RoPE를 사용한 시간 인코딩이 기존 방식과 유사하거나 더 나은 성능을 보이면서 시퀀스 길이를 단축하는 결과를 보여주었습니다.

### 🔑 시사점 및 한계

- **의료 이벤트 모델 성능 향상을 위한 입력 표현 방식의 중요성:** 코딩 방식, 값의 표현, 시간 정보 인코딩 방식이 모델의 예측 성능에 미치는 영향을 정량적으로 입증했습니다.

- **효율적인 시간 정보 인코딩:** 이벤트 순서 또는 admission-relative RoPE를 활용한 시간 인코딩이 시퀀스 길이를 줄이면서도 효과적인 성능을 제공함을 보여주어, 모델 효율성 증대에 기여할 수 있습니다.

- **CLIF 포맷의 잠재력:** CLIF 리매핑이 단일 사이트 성능을 유지하면서도 임상적으로 해석 가능하며 다중 사이트 호환성을 갖는 작은 토큰 세트를 제공할 수 있음을 시사합니다.

- **미세한 양자화, 참조 범위 앵커링, 부드러운 이산화의 제한적 효과:** 특정 결과에서는 성능 향상에 기여하지만, 모든 경우에 유효한 일반적인 해결책은 아님을 보여줍니다. code-normalized xVal은 다른 방식에 비해 성능이 낮았습니다.

- **한계점:** 본 연구는 단일 데이터셋(MIMIC-IV)과 단일 사이트 설정에 국한되어 있어, 다른 의료 데이터셋이나 다중 사이트 환경에서의 일반화 가능성에 대한 추가적인 검증이 필요합니다. 또한, 다양한 모델 아키텍처와의 상호작용에 대한 심층적인 탐구가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.16775)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).