[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

Created by
  • Haebom

作者

Irene Siragusa, Salvatore Contino, Massimo La Ciura, Rosario Alicata, Roberto Pirrone

概要

本論文は、医療分野における人工知能アプリケーションの開発への関心の増加にもかかわらず、プライバシーの問題による高品質のデータセットの欠如という困難を扱います。ビジョン言語モデル(VLM)の発展により、医療スキャンに対応する臨床報告書と所見が添付されたマルチモーダル医療データセットの必要性が高まっています。本論文では、医師、看護師、医療学生の継続的な医学教育の目的で主に使用されるマルチモーダルデータセットMedPix®に基づいて、MedPix 2.0データセットを構築するための全体的なワークフローを紹介します。視覚データとテキストデータを抽出する半自動パイプラインとノイズサンプルを削除する手動治療手順を経て、MongoDBデータベースを作成します。 MongoDBインスタンスをデータセットとともに効率的にナビゲートし、VLMのトレーニングおよび/または微調整に簡単に使用できる生データを取得できるグラフィカルユーザーインターフェイス(GUI)を開発しました。 MedPix 2.0を使用してトレーニングされた検索拡張生成ベースのVLMモデルであるDR-Minervaを紹介し、Llama 3.1 Instruct 8Bを使用した知識グラフを活用してDR-Minervaを拡張したモデルを提案します。結果のアーキテクチャは、医療意思決定支援システムで、エンドツーエンドの方法で照会できます。 MedPix 2.0はGitHubで利用可能です。

Takeaways、Limitations

Takeaways:
医療分野におけるVLM開発に不可欠な高品質マルチモーダル医療データセットMedPix 2.0を提供します。
MedPix 2.0データセットの効率的なナビゲーションと活用を可能にするGUIを提供します。
MedPix 2.0ベースの医療意思決定支援システムとして利用可能なDR-Minervaモデルとその拡張モデルを提示します。
GitHubを介してデータセットのアクセシビリティを高めました。
Limitations:
データセットのサイズと多様性に関する具体的な情報不足。
データ収集および処理中に発生する可能性があるバイアスの分析の欠如。
DR-Minervaモデルの性能評価の詳細はない。
個人情報保護の問題に対する具体的な解決策 未提示(データセット構築過程で個人情報保護をどのように考慮したか明示的に言及されない)。
👍