Este artículo aborda la cuestión de la alineación de valores en sistemas multiagente basados en modelos de lenguaje a gran escala (LLM), en particular a medida que la investigación en IA evoluciona de la toma de decisiones autónoma con un solo agente a la de múltiples agentes, y el trabajo colaborativo en entornos complejos. El avance y la diversidad de aplicaciones de los LLM han incrementado los riesgos situacionales y sistémicos, lo que hace que la alineación de valores sea crucial para garantizar que los objetivos, las preferencias y los comportamientos de los agentes se alineen con los valores humanos y las normas sociales. Este artículo aborda la necesidad de gobernanza social a través de un marco de valores multicapa, examinando exhaustivamente la alineación de valores utilizando sistemas multiagente basados en LLM como prototipo representativo de sistemas de IA con agentes. Estructuramos los principios de valor en una estructura jerárquica a nivel macro, meso y micro, categorizamos los escenarios de aplicación a lo largo de un continuo de lo general a lo específico, y mapeamos los métodos y evaluaciones de alineación de valores en el marco jerárquico. Además, examinamos en detalle la coordinación de valores entre múltiples agentes dentro de los sistemas de IA con agentes y sugerimos futuras líneas de investigación.