Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RECAST: Strengthening LLMs' Complex Instruction Following with Constraint-Verifiable Data

Created by
  • Haebom

作者

Zhengkang Guo, Wenhao Liu, Mingchen Xie, Jingwen Xu, Zisu Huang, Muzhao Tian, Jianhan Xu, Muling Wu, Xiaohua Wang, Changze Lv, He-Da Wang, Hu Yao, Xiaoqing Zheng, Xuanjing Huang

概要

この論文は、複雑な指示(10以上の制約)に従うのが困難な大規模言語モデル(LLM)の制限を解決するためにRECASTフレームワークを提案します。 RECASTは、実際のプロンプト応答ペアから抽出された多数の制約を含むデータセットを生成し、ルールベース検証器とLLMベース検証器を使用して制約を満たすかどうかを自動的に検証します。これは、30,000のインスタンスを含む大規模で高品質のデータセットRECAST-30Kを構築し、そのデータセットに微調整されたモデルが複雑な指示に従うことを実験的に示しています。また、強化学習のための補償関数設計にRECASTの検証可能性を活用してモデル性能をさらに向上させることができることを提示する。

Takeaways、Limitations

Takeaways:
複雑な指示を処理するLLMのパフォーマンスを向上させるための新しいフレームワーク(RECAST)の提示
実際のデータ駆動型大規模高品質データセット(RECAST-30K)の構築
制約を満たすかどうかの自動検証可能
強化学習ベースのパフォーマンス向上の可能性を提示
Limitations:
RECASTフレームワークの一般化の可能性に関するさらなる研究が必要
さまざまな種類の制約のスケーラビリティレビューが必要
LLMベースの検証器の信頼性と限界の分析が必要
👍