[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Uso de LLM para identificar características de habilidades personales y profesionales en una prueba de juicio situacional de respuesta abierta

Created by
  • Haebom

Autor

Cole Walsh, Rodica Ivan, Muhammad Zafar Iqbal, Colleen Robb

Describir

Este artículo presenta un enfoque novedoso para desarrollar un sistema de puntuación automática para Pruebas de Juicio Situacional (PJS) utilizando modelos de lenguaje a gran escala (LLM). A medida que aumenta la importancia de medir las habilidades personales y profesionales, aumenta la necesidad de desarrollar un sistema automatizado que supere las limitaciones de los métodos de puntuación basados en la intervención humana y realice PJS a gran escala. Este estudio presenta un método para extraer características relacionadas con los componentes de las respuestas de las PJS utilizando LLM para resolver el problema de validez de los sistemas existentes basados en PLN, y demuestra su eficacia utilizando la PJS de Casper. Este estudio sienta las bases para el desarrollo de un sistema de puntuación automática para las habilidades personales y profesionales.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos una nueva posibilidad de desarrollar un sistema automático de puntuación SJT utilizando LLM
◦
Contribuye a resolver los problemas de escalabilidad y eficiencia de la calificación basada en humanos existente.
◦
Aumentar el potencial de automatización y estandarización de las evaluaciones de habilidades personales y profesionales
◦
Validación de la efectividad del enfoque a través de investigación empírica utilizando Casper SJT
•
Limitations:
◦
Este estudio sólo presenta resultados para el SJT de Casper; se necesita más investigación para determinar la generalización a otros tipos de SJT.
◦
Se necesita una validación adicional de la validez de constructo del sistema basado en LLM.
◦
Es necesario considerar los sesgos y cuestiones éticas de los LLM
◦
Desafíos en la creación y gestión de grandes conjuntos de datos
👍
Made with Slashpage