Bài báo này trình bày kết quả đánh giá 11 mô hình ngôn ngữ quy mô lớn (LLM) nguồn mở để cải thiện hệ thống đăng ký khối u thủ công của Đức. LLM có từ 1 đến 70 tỷ tham số đã được sử dụng để đánh giá hiệu suất của chúng trên ba nhiệm vụ cơ bản: nhận dạng chẩn đoán khối u, gán mã ICD-10 và ngày trích xuất chẩn đoán đầu tiên. Sử dụng tập dữ liệu có chú thích được tạo từ ghi chú của bác sĩ tiết niệu ẩn danh, hiệu suất của các mô hình đã được phân tích bằng một số chiến lược nhắc nhở. Các mô hình Llama 3.1 8B, Mistral 7B và Mistral NeMo 12B hoạt động tốt nhất, trong khi các mô hình có ít hơn 7 tỷ tham số cho thấy hiệu suất thấp hơn đáng kể. Việc nhắc nhở bằng dữ liệu từ các lĩnh vực y tế không phải tiết niệu đã cải thiện đáng kể hiệu suất, cho thấy LLM nguồn mở có tiềm năng đáng kể để tự động hóa việc đăng ký khối u. Chúng tôi kết luận rằng các mô hình có từ 7 đến 12 tỷ tham số mang lại sự cân bằng tối ưu giữa hiệu suất và hiệu quả sử dụng tài nguyên. Mã đánh giá và tập dữ liệu được công khai.
