本論文は推論集約的回帰（RiR）問題に焦点を当てている。 RiRは、テキストから微妙な数値特性を推論する過程であり、感情分析や類似度測定などの標準言語回帰操作とは異なり、ルーブリックベースのスコアリングやドメイン固有の検索などの一時的な問題によく見られます。限られた作業固有のトレーニングデータと計算リソースのみが利用可能な状況では、テキストの詳細な分析が必要とされるという特徴がある。研究者は3つの現実的な問題をRiR課題に設定して基準を設け、固定された巨大言語モデル(LLM)プロンプトとTransformerエンコーダの微調整がRiRで困難になるという仮説を検証した。このために、配置反映プロンプト最適化とニューラルネットワークアンサンブル学習を組み合わせた軽量方式であるMENTATを提案し、MENTATが基準モデルより最大65%の性能向上を達成したことを示す。しかし、RiR分野には依然としてかなりの発展余地が残っていると結論づける。
