Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management

Created by
  • Haebom

作者

Tobias Lindenbauer, Igor Slinko, Ludwig Felder, Egor Bogomolov, Yaroslav Zharov

概要

本論文では、大規模言語モデル（LLM）ベースのエージェントが複雑なタスクを処理するときに発生する長いコンテキスト記録の問題を解決するために、LLM要約と古い観察を省略する単純な方法のパフォーマンスを比較分析します。 SWE-bench Verified環境では、さまざまなモデル設定を使用して2つの方法を比較し、単純な観察マスキング戦略がLLMサマリーと同じレベルのパフォーマンスを維持しながらコストを削減できることを示しました。また、両手法を組み合わせたハイブリッド手法によりコストをさらに削減する結果を提示する。

Takeaways、Limitations

•
Takeaways:
◦
LLM ベースのエージェントでは、LLM サマリー方式の複雑さが必ずしもパフォーマンスの向上につながるとは限りません。
◦
単純な観察マスキング戦略が費用対効果の高い代替手段であることを示している。
◦
ハイブリッド方式は、コスト削減とパフォーマンス維持を同時に達成する可能性を示しています。
◦
LLMの要約方法について疑問を提示し、効率性と効果性を高める他の戦略の可能性を示唆しています。
•
Limitations:
◦
SWE-bench Verified環境に限定された実験結果であり、他の環境への一般化の可能性に関するさらなる研究が必要です。
◦
OpenHandsエージェントスキャフォールドで初期証拠のみを提示し、追加の検証が必要です。
◦
提示されたハイブリッドスキームの具体的な実装方法と追加の分析が必要です。
👍
Made with Slashpage