[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Bottom-up Domain-specific Superintelligence: A Reliable Knowledge Graph is What We Need

Created by
  • Haebom

作者

Bhishma Dedhia, Yuval Kansal, Niraj K. Jha

概要

従来のクロスドメイン一般化のための言語モデルは特定の作業に対する推論能力を示したが、一般的なコーパスを用いたボトムアップ学習方式では、深いドメイン専門知識に必要な抽象化能力を習得するには限界がある。本論文では,ドメイン基本概念をより複雑な概念に構成するトップダウンアプローチを提示した。知識グラフ(KG)は、ドメイン基本概念をHead-relation-tailエッジで表現し、経路は高次元概念を符号化する構成構造を提供する。本研究では、KG基本概念から直接タスクを生成するパイプラインを提示し、モデルがそれを習得し、推論のために構成できるようにする。医学分野を中心に、医学KGを用いて様々な医学基本概念から派生した24,000の推論作業と思考過程をキュレーションし、QwQ-32Bモデルをこのカリキュラムに微調整し、医学超知能に向けた進展を見せるQwQ-Med-3モデルを得た。また、15の医学ドメインで推論能力を定量化する評価セットであるICD-Benchを紹介する。実験の結果、QwQ-Med-3はICD-Benchカテゴリで最先端の推論モデルを凌駕し、特に困難な作業で獲得した基本概念を活用して性能差を広げることを示した。医学質疑応答ベンチマーク評価でもQwQ-Med-3は獲得した専門知識を基盤モデルの性能向上に転移させることを確認した。人工一般知能(AGI)への業界のアプローチは幅広い専門知識を強調していますが、この研究は効率的なドメイン固有の超知能エージェントの構成可能な相互作用からAGIが出現する未来を示しています。

Takeaways、Limitations

Takeaways:
知識グラフベースのトップダウン学習方式を介してドメイン固有の超知能モデルを開発する新しい方法を提示
医学分野では、QwQ-Med-3モデルが既存の最高性能モデルを上回る性能を見せる。
獲得したドメイン知識を他のタスクに転移させる能力を確認。
ドメイン固有の超知能エージェントの構成可能な相互作用によるAGIアプローチの提示
ICD-Benchという新しい医学推論能力評価ベンチマークを提示。
Limitations:
現在は医学分野に限られた研究であり、他のドメインへの一般化の可能性に関するさらなる研究が必要である。
使用された知識グラフの品質と完全性がモデルのパフォーマンスに影響を与える可能性があります。
より多様で複雑な医療事例を含む、より大きな規模のデータセットへの拡張が必要です。
モデルの推論過程に対する解析性の向上が必要
👍