BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases
Created by
Haebom
저자
Mathew J. Koretsky, Maya Willey, Adi Asija, Owen Bianchi, Chelsea X. Alvarado, Tanay Nayak, Nicole Kuznetsov, Sungwon Kim, Mike A. Nalls, Daniel Khashabi, Faraz Faghri
개요
생물의학 연구자들이 복잡한 분석 작업을 위해 대규모 구조화된 데이터베이스에 의존하는 경향이 증가함에 따라, 암묵적인 도메인 추론이 필요한 경우 현재의 텍스트-SQL 시스템은 정성적인 과학적 질문을 실행 가능한 SQL로 매핑하는 데 어려움을 겪고 있습니다. 본 논문은 실제 생물의학 지식 기반을 기반으로 텍스트-SQL 생성의 과학적 추론을 평가하도록 명시적으로 설계된 최초의 벤치마크인 BiomedSQL을 소개합니다. BiomedSQL은 템플릿에서 생성되고 유전자-질병 연관성, 옴믹스 데이터의 인과 추론, 약물 승인 기록을 통합한 조화된 BigQuery 지식 기반을 기반으로 하는 68,000개의 질문/SQL 쿼리/답변 삼중항으로 구성됩니다. 각 질문은 문법적 번역에만 의존하기보다는 유전체 전체의 유의미성 임계값, 영향 방향성 또는 임상 시험 단계 필터링과 같은 도메인별 기준을 추론하도록 모델에 요구합니다. 다양한 프롬프트 전략 및 상호 작용 패러다임에서 다양한 오픈 소스 및 폐쇄형 LLM을 평가합니다. 그 결과 GPT-o3-mini는 59.0%의 실행 정확도를, 맞춤형 다단계 에이전트인 BMSQL은 62.6%를 달성하여 전문가 기준선인 90.0%를 훨씬 밑도는 상당한 성능 격차를 보였습니다. BiomedSQL은 구조화된 생물의학 지식 기반에 대한 강력한 추론을 통해 과학적 발견을 지원할 수 있는 텍스트-SQL 시스템을 발전시키기 위한 새로운 기반을 제공합니다.
시사점, 한계점
•
시사점:
◦
BiomedSQL은 생물의학 지식 기반에 대한 텍스트-SQL 시스템의 성능 평가를 위한 새로운 벤치마크를 제공합니다.
◦
LLM 기반 텍스트-SQL 시스템이 생물의학 분야의 복잡한 질문을 처리하는 데 어려움을 겪고 있음을 보여줍니다.
◦
다단계 에이전트와 같은 맞춤형 접근 방식이 LLM의 성능을 향상시킬 수 있음을 보여줍니다.
◦
생물의학 연구를 지원하는 텍스트-SQL 시스템 개발의 중요성을 강조합니다.
•
한계점:
◦
GPT-o3-mini 및 BMSQL을 포함한 모델의 실행 정확도가 여전히 낮아 개선의 여지가 있습니다.
