Este artículo revisa investigaciones recientes que exploran las implicaciones éticas y sociales de los modelos de IA a gran escala que emiten juicios "morales". Si bien investigaciones anteriores se han centrado principalmente en la alineación con el juicio humano mediante diversos experimentos mentales o en la imparcialidad colectiva del juicio de la IA, este artículo se centra en su aplicación más inmediata y prometedora: asistir o reemplazar a los funcionarios de primera línea en la determinación de la asignación de recursos sociales escasos o la aprobación de prestaciones. Basándose en una rica experiencia histórica sobre cómo las sociedades determinan los mecanismos de priorización para la asignación de recursos escasos, este artículo utiliza datos reales sobre las necesidades de servicios para personas sin hogar para examinar la adecuación de los juicios de los modelos de IA a gran escala (LMA) al juicio humano y a los sistemas de puntuación de vulnerabilidad utilizados actualmente (para mantener la confidencialidad de los datos, solo se utilizan modelos locales a gran escala). El análisis revela inconsistencias significativas en las decisiones de priorización de los LMA en múltiples dimensiones: entre implementaciones, entre LMA y entre LMA y sistemas de puntuación de vulnerabilidad. Al mismo tiempo, los LMA demuestran una concordancia cualitativa con el juicio humano típico en pruebas de comparación bidireccional. Estos resultados sugieren que los sistemas de IA de la generación actual simplemente no están listos para integrarse en la toma de decisiones sociales de alto riesgo.
