본 논문은 복잡한 분석 작업을 위해 대규모 구조화된 데이터베이스에 의존하는 생물의학 연구자들을 위해, 텍스트를 SQL로 변환하는 시스템의 발전을 목표로 한다. 특히 암묵적인 도메인 추론이 필요한 경우, 기존 텍스트-SQL 시스템이 질적인 과학적 질문을 실행 가능한 SQL로 매핑하는 데 어려움을 겪는다는 점을 지적하며, 실제 생물의학 지식 기반에서 과학적 추론을 평가하기 위해 설계된 최초의 벤치마크인 BiomedSQL을 소개한다. BiomedSQL은 유전자-질병 연관성, 오믹스 데이터로부터의 인과 추론, 약물 승인 기록을 통합한 BigQuery 지식 기반을 기반으로 68,000개의 질문/SQL 쿼리/답변 쌍으로 구성된다. 연구 결과, GPT-o3-mini는 59.0%의 실행 정확도를, 맞춤형 멀티 스텝 에이전트 BMSQL은 62.6%의 정확도를 달성했으며, 이는 전문가 기준인 90.0%에 미치지 못했다. BiomedSQL은 구조화된 생물의학 지식 기반에 대한 강력한 추론을 통해 과학적 발견을 지원할 수 있는 텍스트-SQL 시스템 발전을 위한 새로운 기반을 제공한다.
