[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Cognitive Load-Aware Inference: A Neuro-Symbolic Framework for Optimizing the Token Economy of Large Language Models

Created by
  • Haebom

作者

Yilun Zhang

概要

本論文は、大規模言語モデル(LLM)推論の高い計算コスト問題を解決するために、認知負荷理論(CLT)と神経科学原理を適用した新しいパラダイムである認知負荷認識推論(CLAI)フレームワークを提示します。 CLAIは、問題の本質的な複雑さ($ICL_{LLM}$)、不要な計算($ECL_{LLM}$)、および生産的な推論のトークン割り当て($GCL_{LLM}$)を定量化し、推論プロセスを認知経済最適化問題に再構成します。 2つの提案された実装方法、CLAI-Prompt(ゼロショットメタプロンプトベース)とCLAI-Tune(微調整モデル)は、複雑な推論、長文脈のクエリ応答、コード生成など、さまざまなベンチマークで最大45%のトークン消費を削減し、精度を維持します。特にCLAI-Tuneは、困難な問題を自律的に分解する能力を示しています。これは、脳の資源管理戦略を模倣することで、より効率的で強力で能力のある人工知能システムを構築できることを示しています。

Takeaways、Limitations

Takeaways:
LLM推論の計算コストを効果的に減らす新しい方法を提示します(最大45%のトークン消費の削減)。
認知負荷理論をLLM推論に適用し,認知経済的観点から最適化の可能性を示した。
CLAI-Tuneの自律的な問題分解能力は、人間の専門家レベルの認知能力を模倣する可能性を示しています。
効率的で強力で能力のあるAIシステム開発への新しいアプローチを提示します。
Limitations:
$ICL_{LLM}$、$ECL_{LLM}$、$GCL_{LLM}$ の定量化方式の具体的な説明不足。
CLAIフレームワークの一般化の可能性とさまざまなLLMへの適用性に関するさらなる研究が必要です。
提案された方法の実際の適用と拡張性のための追加の検証が必要です。
認知負荷理論をLLMに適用する過程で起こり得る過度の単純化と人間の認知との違いに関する議論の欠如
👍