Share
Sign In
Autoconsistencia en el momento
La autoconsistencia es una nueva técnica que mejora la capacidad de razonamiento de los modelos de lenguaje de inteligencia artificial. Al mejorar el método de Cadena de Pensamiento (CoT) existente, genera varias rutas de razonamiento y selecciona la respuesta más consistente entre ellas. Este método es eficaz para razonamientos aritméticos complejos o problemas de lógica de sentido común.
Esta técnica fue propuesta por Xuezhi Wang en el estudio <La autoconsistencia mejora el razonamiento en cadena de pensamiento en modelos lingüísticos> publicado en 2023.
SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS.pdf823.42KB
Cómo funciona la autoconsistencia
•
Genere múltiples rutas de inferencia: cree múltiples rutas de inferencia utilizando múltiples mensajes cortos de CoT.
•
Seleccione respuestas consistentes: identifique y seleccione la respuesta más consistente entre las rutas generadas.
•
Agregación de resultados: integre múltiples rutas de inferencia para llegar a una respuesta final
Diferencias con el método CoT existente
El enfoque CoT guía el modelo para explicar el proceso de razonamiento paso a paso en lugar de dar respuestas directas. Por otro lado, la autoconsistencia amplía este enfoque CoT al generar múltiples caminos de inferencia y seleccionar el resultado más consistente entre ellos.
Cómo usarlo en la práctica.
Digamos que tenemos un problema matemático nuevamente. El problema es:
“Durante su viaje en bicicleta de 60 km, Younghee se detuvo dos veces. La primera parada fue 20 km más tarde y la segunda parada fue 15 km antes del final del viaje. ¿Cuánta distancia recorrió Younghee entre la primera y la segunda parada?
Este es el aspecto que suele tener cuando lo escribes cuando se te solicita:
Younghee viajó un total de 60 km. Después de tu primera parada has recorrido 60 - 20 = 40 km. Entonces la respuesta es 40 km.
También estuvo mal. En cierto modo, es un problema de resta simple, pero supongo que no fue fácil para mi amigo LLM. Resolvamos esto usando un modelo de autoconsistencia.
Ruta de inferencia 1: “Younghui viajó un total de 60 km. Su primera parada fue 20 km más tarde y su segunda parada fue 15 km antes del final del viaje. Entonces, entre su primera y segunda parada viajó 60 - 20 - 15 = 25. km. La respuesta es 25 km.
Camino de inferencia 2: "En un viaje de 60 km, la primera parada fue a 20 km y la segunda parada fue a 60 - 15 = 45 km. La distancia entre la primera y la segunda parada es 45 - 20 = 25 km. La respuesta es 25 kilómetros."
Ambas inferencias proporcionan la respuesta correcta. Esta es una técnica de autoconsistencia. Para hacerlo más fácil, aquí hay un ejemplo:
P: Younghee hizo su primera parada después de 20 kilómetros durante su viaje de 60 kilómetros en bicicleta. ¿Qué distancia recorrió después de su primera parada?
R: Younghee hizo su primera parada después de 20 kilómetros. Por tanto, la distancia restante después de la primera parada es 60 - 20 = 40 km.
Pregunta: La segunda parada de Younghee ocurrió 15 kilómetros antes del final del viaje. ¿Cuál es la distancia de la segunda parada en la distancia total del viaje?
R: Hubo una segunda parada 15 km antes del final del viaje. Por lo tanto, la distancia hasta la segunda parada en la distancia total del viaje es 60 - 15 = 45 km.
P: ¿Cuál es la distancia entre la primera y la segunda parada?
R: La distancia restante después de la primera parada es de 40 km y la distancia restante hasta la segunda parada es de 45 millas. Por tanto, la distancia entre las dos paradas es 45 - 20 = 25 km.
¿Sabes cuál es la diferencia?
“Durante su viaje en bicicleta de 60 km, Younghee se detuvo dos veces. La primera parada fue 20 km más tarde y la segunda parada fue 15 km antes del final del viaje. ¿Cuánta distancia recorrió Younghee entre la primera y la segunda parada?
El problema se resolvió segmentando la oración y respondiéndola por separado. Al hacer esto, puede ver que los problemas que no se pudieron resolver en GPT-3, LLaMA2, Claude, etc. se resuelven, y cuando se usa junto con la técnica del árbol de pensamiento que se presentará más adelante, la brecha en el tamaño del modelo, que era una desventaja de CoT, se puede superar hasta cierto punto.
ⓒ 2023. Haebom, todos los derechos reservados.
Se indica la fuente y puede utilizarse con fines comerciales con el permiso del titular de los derechos de autor.
