Sign In

Knowledge Elicitation with Large Language Models for Interpretable Cancer Stage Identification from Pathology Reports

Created by
  • Haebom
Category
Empty

저자

Yeawon Lee, Christopher C. Yang, Chia-Hsuan Chang, Grace Lu-Yao

개요

본 연구는 구조화되지 않은 병리 보고서에서 병기(staging)를 추출하는 문제를 해결하기 위해, 대규모 언어 모델(LLM)이 도메인 특정 규칙을 유도하고 적용하도록 설계된 두 가지 지식 추출(Knowledge Elicitation) 방법을 제시한다. 첫 번째 방법인 KEwLTM은 비(un)주석된 병리 보고서로부터 반복적인 프롬프팅 전략을 사용하여 병기 규칙을 직접 도출한다. 두 번째 방법인 KEwRAG는 검색 증강 생성(RAG)의 변형을 활용하여, 관련 지침에서 미리 추출된 규칙을 적용하여 해석 가능성을 높이고 반복적인 검색 오버헤드를 방지한다. TCGA 데이터셋의 유방암 병리 보고서를 사용하여 두 가지 오픈 소스 LLM에서 T 및 N 단계를 식별하는 성능을 평가했다. KEwLTM과 KEwRAG는 모두 유도된 규칙을 명시적으로 만들어 투명하고 해석 가능한 인터페이스를 제공한다.

시사점, 한계점

시사점:
제한된 주석 데이터 환경에서 자동화된 암 병기를 위한 확장 가능하고 성능이 우수한 솔루션을 제공한다.
해석 가능성을 향상시켜 임상 환경에서의 활용 가능성을 높인다.
KEwLTM과 KEwRAG 방법 모두 LLM의 광범위한 지식을 활용한다.
KEwLTM은 Zero-Shot Chain-of-Thought (ZSCOT) 추론이 효과적일 때 KEwRAG보다 우수한 성능을 보인다.
KEwRAG는 ZSCOT 추론이 덜 효과적일 때 더 나은 성능을 보인다.
한계점:
두 방법 모두 LLM의 성능에 의존하며, LLM의 한계가 성능에 영향을 미칠 수 있다.
ZSCOT 추론의 효과성에 따라 KEwLTM과 KEwRAG의 상대적 성능이 달라진다.
연구는 유방암 병리 보고서에 국한되어 다른 암 종류에 대한 일반화 가능성은 추가 연구가 필요하다.
RAG 기반 방법은 외부 지식 소스에 의존하므로, 외부 지식의 정확성과 최신성에 따라 성능이 달라질 수 있다.
👍