Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
Created by
Haebom
저자
Yuting Hu, Dancheng Liu, Qingyun Wang, Charles Yu, Chenhui Xu, Qingxiao Zheng, Heng Ji, Jinjun Xiong
개요
본 논문은 방대한 과학 문헌에서 효과적인 개입 전략을 식별하는 어려움을 해결하기 위해 대규모 언어 모델(LLM)을 활용한 새로운 프레임워크인 LLM-Duo를 제시한다. LLM-Duo는 진보적 온톨로지 프롬프팅(POP) 알고리즘과 탐색기 및 평가자라는 두 개의 특수화된 LLM 에이전트로 구성된 이중 에이전트 시스템을 통합한다. POP 알고리즘은 사전 정의된 온톨로지를 통해 우선순위가 있는 너비 우선 탐색(BFS)을 수행하여 자동 주석 프로세스를 안내하는 구조화된 프롬프트 템플릿과 작업 순서를 생성한다. LLM-Duo 시스템의 두 에이전트는 협력적이면서도 대립적으로 작동하여 주석 품질을 지속적으로 개선한다. 실제 적용 가능성을 보여주기 위해 언어 치료 개입 발견에 중점을 둔 사례 연구를 수행했으며, 64,177개의 연구 논문에서 2,421개의 개입 전략을 성공적으로 식별하여 공개적으로 접근 가능한 개입 지식 기반을 구축했다. 실험 결과는 제안된 접근 방식이 기존 방법보다 정확하고 포괄적인 주석을 완전 자동화된 프로세스를 통해 달성함을 보여준다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델을 활용하여 과학 문헌에서 효과적인 개입 전략을 자동으로 식별하는 새로운 프레임워크를 제시.
◦
진보적 온톨로지 프롬프팅(POP) 알고리즘과 이중 에이전트 시스템을 통해 주석의 정확성과 포괄성을 향상.
◦
언어 치료 분야에서 2,421개의 개입 전략을 식별하여 공개적으로 접근 가능한 지식 기반 구축.
◦
자동화된 프로세스를 통해 연구자의 시간과 노력을 절약하고, 주관적인 편향을 줄일 수 있음.
•
한계점:
◦
사용된 온톨로지의 정확성과 포괄성에 따라 성능이 영향을 받을 수 있음.
◦
특정 분야에 특화된 LLM이 필요할 수 있으며, 다른 분야로의 일반화 가능성에 대한 추가 연구가 필요함.
◦
LLM의 성능에 대한 의존도가 높아, LLM의 한계가 본 프레임워크의 성능에 영향을 미칠 수 있음.
◦
사례 연구가 언어 치료 분야에 국한되어 있어, 다른 분야에 대한 일반화 가능성을 검증할 필요가 있음.
