Share
Sign In
思考の木（ToT）技術
思考の木（Tree of Thoughts）は、YaoとLongが2023年に発表した論文「Tree of Thoughts（ToT）：A Framework for Advanced Problem Solving」が提案した言語モデルのプロンプト技法で、戦略的思考と探索が必要な複雑な作業に特に適したアプローチです。 ToTは、体系的な問題解決のための検索アルゴリズムと組み合わせた木のような思考の構造を活用して、思考の連鎖（Chain-of-Thought、CoT）プロンプトの概念を拡張します。
Large Language Model Guided Tree-of-Thought.pdf388.93KB
Tree of Thoughts- Deliberate Problem Solving with Large Language Models.pdf748.36KB
ToTの仕組み
Tree of Thoughts（ToT）技術を簡単に説明すると、問題を解決する上でいくつかの可能性を探索し、最適な解決策を探す過程を木のような構造で表現したのです。これにより、言語モデルが人のようにさまざまな方向を考慮し、必要に応じて前の手順に戻って他の方法を試すことができます。
ToTが注目される理由
•
ツリー構造：ToTは、トラブルシューティングプロセスを木の枝のようにさまざまなパスに移動します。各「枝」は問題解決のための一つの考えやステップを表します。 （私たちがよく言うエクスプローラで見るフォルダ構造を思い出してください。）
•
思考の生成と評価：人が問題を解決するためにいくつかのアイデアを考え、そのうちのどれが最善かを評価するように、言語モデルはさまざまな解決策を提示し、その中で最適な解決策を見つけます。
•
ナビゲーションとバックトラッキング：トラブルシューティングのために複数のパスをナビゲートし、必要に応じて前の手順に戻り、別の方向にもう一度考えてみます。
実際のアプリケーション
CoTの問題は、回帰ができないことです。最後まで行って結果を見てから連鎖をしなければならないなら、ToTは途中で回帰をして正すことができるというのが最大の魅力です。前述のように、LLMがトリッキーになる数学の問題を解くことを考えてみましょう。例えば、以下のようなクイズがあるとしましょう。
"4x4 스도쿠 퍼즐의 빈 칸을 채워 넣으시오."一般的な方法
•
進行：通常の方法では、各行、列、2x2グリッドから抜けている数字を1つずつ見つけて、空のスペースに埋め込みます。
•
結果：空のスペースを順番に埋めてパズルを完成させます。
私が作成した4x4数独パズルは、すべてのスペースが空のスペースになっています。したがって、このパズルを解決するための完成した数独ボードは次のとおりです。
1 2 3 4
3 4 1 2
2 1 4 3
4 3 2 1
3 4 1 2
2 1 4 3
4 3 2 1
ToT技術
ToTプロセスの追加プロンプト
•
ステップ1：言語モデルは、最初の空白のスペースに入れる番号を提案します。
•
ステップ 2: 次の空のスペースに入る番号を考えます。
•
バックトラッキング：パズルが何らかの段階で解放されないと判断された場合、言語モデルは前のステップに戻って別の数字を試みます。
•
最終出力：すべての空白を正しく埋めてパズルを完成させます。
4x4数独パズルを段階的に解決する過程を経て、合計14段階を経てすべての空のスペースを正しく満たしました。最終的に完成した数独パズルは次のとおりです。
1 2 3 4
3 4 2 1
4 3 1 2
2 1 4 3
3 4 2 1
4 3 1 2
2 1 4 3
実はこのように見ると違いがよく感じられません。しかし、この友達が解いたことをコードで見ると理解になります。
一般的なプロンプト方式
ToT方式
これをGPT-3.5で行った場合は、次のように確認できます。
結果を見ればわかるように、私たちがGPT-4で可能なことをGPT-3.5あるいはLLaMA2などでも十分に再現可能なのが、このようなプロンプトを活用した手法だと言えます。 （GPT-4だけ行ってもただコーディングで解放してしまいます。
ⓒ 2023. Haebom, all rights reserved.
ソースを表示し、著作権者の許可の下で営利目的で使用することができます。
