Share
Sign In
Técnica del árbol del pensamiento (ToT)
Tree of Thoughts es una técnica de indicación de modelo de lenguaje propuesta por Yao y Long en su artículo <Tree of Thoughts (ToT): A Framework for Advanced Problem Solving> publicado en 2023, y es una tarea compleja que requiere pensamiento estratégico y exploración. es particularmente adecuado para . ToT amplía el concepto de indicaciones de cadena de pensamiento (CoT) aprovechando una estructura de pensamientos en forma de árbol combinada con un algoritmo de búsqueda para la resolución sistemática de problemas.
Large Language Model Guided Tree-of-Thought.pdf388.93KB
Tree of Thoughts- Deliberate Problem Solving with Large Language Models.pdf748.36KB
Cómo funciona ToT
En pocas palabras, la técnica del Árbol de los Pensamientos (ToT) es una estructura similar a un árbol que expresa el proceso de explorar múltiples posibilidades para resolver un problema y encontrar la solución óptima. Esto permite que el modelo de lenguaje considere múltiples direcciones, tal como lo haría un humano, y retroceda y pruebe un enfoque diferente si es necesario.
Por qué ToT está atrayendo la atención
•
Estructura de árbol: ToT explora el proceso de resolución de problemas a través de varios caminos, como las ramas de un árbol. Cada "rama" representa una idea o paso hacia la solución del problema. (Puede pensar en la estructura de carpetas que vemos comúnmente en el Explorador).
•
Generación y evaluación de ideas: así como los humanos piensan en múltiples ideas para resolver un problema y evalúan cuál es mejor, un modelo de lenguaje presenta múltiples soluciones y encuentra la óptima.
•
Exploración y retroceso: explora múltiples caminos para resolver un problema, retrocediendo y pensando en una dirección diferente cuando sea necesario.
Aplicación práctica
El problema con CoT es que no se puede hacer regresión. Si tienes que llegar hasta el final y ver los resultados y luego continuar, el mayor atractivo de ToT es que puedes regresar a la mitad y hacer correcciones. Como se mencionó anteriormente, supongamos que estamos resolviendo un problema matemático que es difícil para LLM. Por ejemplo, digamos que hay una prueba como la siguiente.
"4x4 스도쿠 퍼즐의 빈 칸을 채워 넣으시오."Método general
•
Progreso: De la forma habitual, encuentra los números que faltan uno por uno en cada fila, columna y cuadrícula de 2x2 y completa los espacios en blanco.
•
Resultado: Completa el rompecabezas completando secuencialmente los espacios en blanco.
En el Sudoku 4x4 que creé, todas las celdas están en blanco. Entonces, el tablero de Sudoku completo para resolver este rompecabezas se vería así:
1 2 3 4
3 4 1 2
2 1 4 3
4 3 2 1
3 4 1 2
2 1 4 3
4 3 2 1
Técnica de ToT
Agregar mensaje de proceso ToT
•
Paso 1: El modelo de lenguaje sugiere un número para llenar el primer espacio en blanco.
•
Paso 2: Considere los números que irán en el siguiente espacio en blanco.
•
Retroceder: si se determina que el rompecabezas no tiene solución en un determinado paso, el modelo de lenguaje vuelve al paso anterior e intenta con un número diferente.
•
Resultado final: Completa el rompecabezas completando correctamente todos los espacios en blanco.
Recorrimos el proceso de resolución del Sudoku 4x4 paso a paso, tomando un total de 14 pasos para completar correctamente todos los espacios en blanco. El Sudoku final completado es el siguiente:
1 2 3 4
3 4 2 1
4 3 1 2
2 1 4 3
3 4 2 1
4 3 1 2
2 1 4 3
En realidad, si lo miras de esta manera, realmente no puedes ver la diferencia. Sin embargo, si miras el código que resolvió este amigo, lo entenderás.
Método de aviso normal
Método de TOT
Si esto se hace en GPT-3.5, puede verificarlo de la siguiente manera.
Como puede ver en los resultados, se puede decir que lo que podemos hacer con GPT-4 se puede reproducir suficientemente con GPT-3.5 o LLaMA2 utilizando técnicas que utilizan estas indicaciones. (Incluso si solo usas GPT-4, puedes resolverlo con codificación.
ⓒ 2023. Haebom, todos los derechos reservados.
Se indica la fuente y puede utilizarse con fines comerciales con el permiso del titular de los derechos de autor.
