Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Large language models management of medications: three performance analyses

Created by
  • Haebom

作者

Kelli Henry, Steven Xu, Kaitlin Blotske, Moriah Cargile, Erin F. Barreto, Brian Murray, Susan Smith, Seth R. Bauer, Xingmeng Zhao, Adeleine Tilley, Yanjun Gao, Tianming Liu, Sunghwan Sohn, Andrea Sikora

概要

GPT-4oの薬物管理能力を評価した研究で、薬物製剤識別、薬物相互作用識別、薬物処方生成の3つの課題を遂行させた。実験の結果、GPT-4oは薬物製剤マッチングでは49％の精度、薬物相互作用の同定では54.7％の精度、薬物処方の生成では65.8％の精度を示し、全体的に低い性能を示した。

Takeaways、Limitations

•
Takeaways：
◦
GPT-4oは基本的な薬物管理作業において一貫して低い性能を示した。
◦
臨床医が注釈したデータセットによるドメイン固有のトレーニングと包括的な評価フレームワークの必要性を強調する。
•
Limitations：
◦
単純な薬物管理作業の評価に限定された。
◦
GPT-4oの応答を評価するために、臨床医の評価とLLM指標（TF-IDF、正規化レベンシュタイン類似度、ROUGE 1 / ROUGE L F1）を使用した。
👍
Made with Slashpage