Este artículo presenta un nuevo marco, el Razonamiento Científico Multimodal con Percepción Física y Simulación (MAPS), basado en un modelo de percepción física (MPF) y un simulador para abordar la falta de capacidad de resolución de problemas en el dominio físico de los modelos de lenguaje multimodales a gran escala (MLLM), especialmente en la comprensión de diagramas con estructuras físicas complejas y el análisis cuantitativo basado en información multimodal. MAPS descompone las tareas de razonamiento multimodal de nivel experto en comprensión de diagramas físicos (MPF) y razonamiento utilizando conocimiento físico (simulador). El MPF se obtiene mediante el ajuste fino de un modelo de lenguaje visual utilizando datos sintéticos cuidadosamente diseñados (pares de diagramas físicos y sus descripciones en lenguaje de simulación). En la fase de razonamiento, MAPS integra las descripciones en lenguaje de simulación de los diagramas de entrada proporcionadas por el MPF y los resultados obtenidos mediante el proceso de Cadena de Simulación con MLLM para derivar la justificación y la respuesta final. Los resultados se verifican utilizando problemas de análisis de circuitos de nivel universitario, y MAPS mejora significativamente la precisión de inferencia de MLLM y supera a los modelos existentes.
