Sign In

GAPMAP: Mapping Scientific Knowledge Gaps in Biomedical Literature Using Large Language Models

Created by
  • Haebom
Category
Empty

저자

Nourah M Salem, Elizabeth White, Michael Bada, Lawrence Hunter

개요

본 연구는 대규모 언어 모델(LLM)이 생물의학 문헌에서 연구 지식 격차를 식별하는 능력을 조사합니다. 명시적 격차(지식 부재의 명확한 선언)와 암묵적 격차(문맥에서 추론된 지식 부재)의 두 가지 지식 격차 범주를 정의합니다. 암묵적 격차 추론이라는 새로운 과제를 해결하여 명시적 격차 감지에 초점을 맞춘 기존 연구를 확장합니다. 4개의 데이터 세트에서 거의 1500개의 문서에 대해 두 가지 실험을 수행했으며, 여기에는 수동으로 주석이 달린 생물의학 기사 모음집이 포함됩니다. 문단 수준 및 전체 논문 설정에서 폐쇄형 가중치 모델(OpenAI)과 개방형 가중치 모델(Llama 및 Gemma 2)을 벤치마킹했습니다. 암묵적 격차 추론에 대한 추론을 해결하기 위해, 추론 구조화 및 검증을 위해 추론된 결론 후보를 버킷화하는 Toulmin-Abductive Bucketed Inference(\textbf{\small TABI}) 방식을 도입했습니다.

시사점, 한계점

LLM은 명시적 및 암묵적 지식 격차를 모두 식별하는 데 강력한 능력을 보여주며, 대규모 모델이 더 나은 성능을 보이는 경향이 있습니다.
LLM은 초기 연구 기획, 정책 결정 및 자금 지원 결정에 기여할 수 있는 잠재력이 있습니다.
도메인 적응, 인간-루프 검증, 개방형 및 폐쇄형 가중치 모델 간의 벤치마킹 등 견고한 배포를 위한 몇 가지 실패 모드 및 방향성이 보고되었습니다.
👍