Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

DICE: Structured Reasoning in LLMs through SLM-Guided Chain-of-Thought Correction

Created by
  • Haebom

作者

Yiqi Li, Yusheng Liao, Zhe Chen, Yanfeng Wang, Yu Wang

概要

カスタム要件(厳密な出力形式など)を持つ推論作業では、大規模言語モデル(LLM)はしばしば詳細なガイドラインに準拠するよりも推論を優先します。これを解決するために、DICEは小規模言語モデル(SLM)を活用してLLMの出力をチェーンオブザフト(CoT)修正方式で改善する軽量フレームワークです。 DICEはLLMが自然言語応答を生成し、訓練されたSLMがこれらの出力を分析および具体化し、構造化出力仕様を満たすようにします。 DICEは、LLMの幅広い知識と推論能力を維持しながら、ユーザーのニーズに合った出力を保証します。 DICEはデュアルチューニング戦略によってSLMを微調整して構造化出力を生成します。実験の結果、DICEはLLM出力の平均形式精度と内容精度をそれぞれ35.4%と29.4%向上させ、SOTA性能を達成しました。

Takeaways、Limitations

Takeaways:
LLMの広範な知識と推論能力を維持しながら、SLMを活用してLLMの出力形式を改善する新しいアプローチを提示します。
軽量フレームワークとして、高い計算コストなしでLLMの出力品質を向上させる効率的な方法論を提示します。
実験により、従来方式に比べて高い性能向上を実証。
Limitations:
SLMのパフォーマンスによっては、フレームワーク全体のパフォーマンスが制限される可能性があります。
構造化されたCoT適応データセットの構成に依存し、データセットの品質がパフォーマンスに影響を与えます。
さまざまなLLMおよびSLMモデルの一般化性能検証が必要です。
👍