Share
Sign In
Avisos activos: aumente el rendimiento con ejemplos enriquecidos
Active-Prompt tiene varias diferencias importantes en comparación con los métodos CoT tradicionales. Mientras que los enfoques tradicionales de CoT se basan en ejemplos fijos anotados por humanos, Active-Prompt aplica dinámicamente indicaciones de ejemplo específicas para diferentes tareas. El método Active-Prompt sigue los siguientes pasos:
1.
Estimación de la incertidumbre: utilizando un modelo de lenguaje a gran escala (LLM), una pregunta para una tarea específica se repite varias veces para generar múltiples respuestas posibles y luego la incertidumbre de cada pregunta se calcula utilizando una métrica de incertidumbre. Las métricas de incertidumbre utilizadas incluyen el número de respuestas inconsistentes, la entropía y la varianza.
2.
Selección: seleccione las preguntas más inciertas para anotarlas en función de la incertidumbre calculada.
3.
Anotación: los anotadores humanos proporcionan procesos de razonamiento y respuestas a preguntas seleccionadas para crear nuevos ejemplos.
4.
Inferencia: realice inferencias para cada pregunta utilizando ejemplos recién anotados y seleccione la respuesta más consistente.
Active Prompting with Chain-of-Thought for Large Language Models.pdf914.57KB
Este proceso maximiza el rendimiento de LLM al seleccionar y anotar dinámicamente las preguntas más informativas midiendo la incertidumbre, mientras que los métodos tradicionales de CoT se basan en un conjunto fijo de ejemplos que se basan en la anotación humana. Este es un enfoque que es particularmente adecuado para tareas de inferencia complejas y se ha demostrado que mejora la adaptabilidad y precisión de los modelos en una variedad de tareas.
"영희가 장거리 하이킹을 위해 백팩을 싸고 있는데, 그녀는 무엇을 가져가야 할까요?"Un modelo de lenguaje genera múltiples caminos de inferencia y respuestas a esta pregunta. Por ejemplo, puedes crear una lista de suministros para una caminata o recomendar equipo para una situación específica. Entre las múltiples respuestas generadas, la que tiene alta incertidumbre se selecciona y se refina mediante anotaciones humanas junto con el proceso de razonamiento.
"철수가 10층짜리 호텔에서 방을 예약했습니다. 각 층에는 동일한 방이 10개씩 있는데, 모든 방을 사용할 수 있을까요?"Un modelo de lenguaje genera varias respuestas a esta pregunta y selecciona la más incierta. Por ejemplo, el modelo podría responder: "El último piso no se puede utilizar, por lo que hay un total de 90 habitaciones disponibles".
El núcleo del método Active-Prompt es encontrar la respuesta más incierta entre las muchas respuestas generadas por el modelo de lenguaje y reforzarla con anotaciones humanas para obtener resultados más precisos y confiables .
ⓒ 2023. Haebom, todos los derechos reservados.
Se indica la fuente y puede utilizarse con fines comerciales con el permiso del titular de los derechos de autor.
