Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

BiomedSQL: Text-to-SQL for Scientific Reasoning on Biomedical Knowledge Bases

Created by
  • Haebom

作者

Mathew J. Koretsky, Maya Willey, Adi Asija, Owen Bianchi, Chelsea X. Alvarado, Tanay Nayak, Nicole Kuznetsov, Sungwon Kim, Mike A. Nalls, Daniel Khashabi, Faraz Faghri

概要

生物医学研究者が複雑な分析作業のために大規模な構造化データベースに依存する傾向が高まるにつれて、暗黙のドメイン推論が必要な場合、現在のテキストSQLシステムは定性的な科学的質問を実行可能SQLにマッピングすることが困難になります。この論文では、実際の生物医学知識ベースに基づいてテキストSQL生成の科学的推論を評価するように明示的に設計された最初のベンチマークであるBiomedSQLを紹介します。 BiomedSQLはテンプレートから生成され、遺伝子疾患の関連性、オームミックスデータの因果推論、および薬物承認記録を組み込んだ調和したBigQuery知識ベースに基づく68,000の質問/SQLクエリ/回答三重項で構成されています。各質問は、文法的翻訳のみに頼るのではなく、誘電体全体の有意性しきい値、影響の方向性、または臨床試験段階のフィルタリングなどのドメイン固有の基準を推論するようにモデルに要求します。さまざまなプロンプト戦略と相互作用パラダイムで、さまざまなオープンソースとクローズドLLMを評価します。その結果、GPT-o3-miniは59.0％の実行精度を、カスタムマルチレベルエージェントであるBMSQLは62.6％を達成し、専門家ベースラインである90.0％をはるかに下回るかなりのパフォーマンスギャップを示しました。 BiomedSQLは、構造化生物医学知識ベースの強力な推論を通じて科学的発見を支援するためのテキストSQLシステムを開発するための新しい基盤を提供します。

Takeaways、Limitations

•
Takeaways：
◦
BiomedSQLは、バイオメディカルナレッジベースのテキストSQLシステムのパフォーマンスを評価するための新しいベンチマークを提供します。
◦
LLMベースのテキスト-SQLシステムが生物医学の分野で複雑な質問に対処するのに苦労していることを示しています。
◦
多段階エージェントのようなカスタマイズされたアプローチがLLMのパフォーマンスを向上できることを示しています。
◦
生物医学研究を支援するテキストSQLシステムの開発の重要性を強調します。
•
Limitations：
◦
GPT-o3-miniとBMSQLを含むモデルの実行精度は依然として低く、改善の余地があります。
◦
ベンチマークが実際の生物医学の質問のすべての側面をカバーしているかどうかは不明です。
◦
パフォーマンスを向上させるには、より多くのデータとトレーニングが必要になる場合があります。
👍
Made with Slashpage