Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

SoAy: A Solution-based LLM API-using Methodology for Academic Information Seeking

Created by
  • Haebom

作者

Yuanchun Wang, Jifan Yu, Zijun Yao, Jing Zhang, Yuyang Xie, Shangqing Tu, Yiyang Fu, Youhe Feng, Jinkai Zhang, Jingyao Zhang, Bowen Huang, Yuanyao Li, Huihui Yuan, Lei Hou, Juanzi Li, Jie Tang

概要

本論文は、学術情報検索のための大規模言語モデル(LLM)ベースのAPI使用方法論であるSoAyを提示します。既存の方法が学術クエリで一般的に発生する複雑なAPIの結合に困難があることを指摘し、SoAyは事前設定されたAPI呼び出しの順序である「ソリューション」を利用して、LLMがAPI間の複雑な関係を理解するために必要な困難を減らします。コードを活用して推論効率を高めるのが特徴だ。 AMiner APIをベースに構築したSoAyBenchという評価ベンチマークを通じてSoAyの性能を評価した結果、従来の最先端LLM APIベースの方法論に比べて34.58-75.99%の性能向上を見せた。すべてのデータセット、コード、チューニングされたモデル、および配布されたオンラインサービスは公にアクセス可能です。

Takeaways、Limitations

Takeaways:
複雑なAPI結合が必要な学術情報探索におけるLLMの効率を大幅に向上させることができる新しい方法論を提示した。
「ソリューション」ベースのアプローチは、LLMが複雑なAPI関係を理解するのに効果的であることを示しました。
コードを活用して推論効率を高める方法の効用性を立証した。
公開されたコードとデータセットにより、再現性と拡張性が向上しました。
Limitations:
SoAyBenchベンチマークはAMiner APIに基づいて構築されているため、他のAPI環境での一般化性能には追加の検証が必要です。
「ソリューション」の事前構成が必要であることは、一般的な学術クエリへの適用可能性を制限する可能性があります。ソリューション生成プロセスの自動化に関する研究が必要です。
さまざまな種類の学術クエリに対するSoAyのパフォーマンスをより包括的に評価する必要があります。
👍