Este artículo presenta los resultados de una evaluación de 11 modelos de lenguaje a gran escala (LLM) de código abierto para mejorar el sistema alemán de registro manual de tumores. Se utilizaron LLM con entre 1 y 70 mil millones de parámetros para evaluar su rendimiento en tres tareas básicas: identificación del diagnóstico tumoral, asignación de código CIE-10 y extracción de la fecha del primer diagnóstico. Utilizando un conjunto de datos anotados generados a partir de notas anonimizadas de urólogos, se analizó el rendimiento de los modelos utilizando varias estrategias de incitación. Los modelos Llama 3.1 8B, Mistral 7B y Mistral NeMo 12B obtuvieron el mejor rendimiento, mientras que los modelos con menos de 7 mil millones de parámetros mostraron un rendimiento significativamente menor. La incitación con datos de campos médicos no urológicos mejoró significativamente el rendimiento, lo que sugiere que los LLM de código abierto tienen un potencial significativo para automatizar el registro tumoral. Concluimos que los modelos con entre 7 y 12 mil millones de parámetros ofrecen el equilibrio óptimo entre rendimiento y eficiencia de recursos. El código de evaluación y el conjunto de datos están disponibles públicamente.
